IL-0108 DFDS · 2020-11-04kubernetes
2020-11-04 DFDS 는 Alcide 워크숍을 하면서 운영 클러스터 Hellman 을 실습 환경으로 썼다. 팀은 13:13 에 admission 컨트롤러를 적용하면서 영향이 없을 거라고 여겼다. 실제로는 이 컨트롤러 때문에 주로 Deployment 의 생성과 수정이 타임아웃되었고, apiGroups 가 "", "apps", "batch", "extensions" 인 리소스도 마찬가지였다. 팀은 admission 컨트롤러가 느리게 응답한 것으로 보고 있다.
사용자 보고는 적용 뒤 1시간 28분이 지난 14:41 에 들어왔다. 배포 기능이 깨진 것을 잡을 스모크 테스트가 없었다. Alcide 는 곧 쓰지 않을 예정이라 팀 안에 아는 사람이 적었다. 이미 있던 것을 다시 적용할 뿐이라는 생각에 팀이 방심했다.
팀은 15:15 에 컨트롤러를 껐다 켜며 원인을 확인했고, 15:39 에 영구히 지웠다. 감지까지 88분, 복구까지 122분이 걸렸다.
2020-11-04 14:41 CET 에 사용자들이 쿠버네티스 클러스터 Hellman 에 배포할 때 타임아웃이 난다고 알려 왔다.
타임아웃은 주로 Deployment 를 만들거나 고칠 때 났다. apiGroups 가 "", "apps", "batch", "extensions" 인 리소스의 생성과 수정 요청도 같이 타임아웃되었다.
팀은 15:04 에 타임아웃을 확인했다. admission 컨트롤러가 늦게 응답한다고 의심했고, 15:15 에 Alcide admission 컨트롤러를 껐다 켜 보며 이 컨트롤러가 원인인지 확인했다.
증상 ? 배포 실패컨트롤 플레인 지연
팀은 적용 1시간 28분 뒤인 14:41 CET 에 사용자들이 Hellman 에 배포할 때 타임아웃이 난다고 알려 와서 문제를 알았다. 이어 15:04 에 타임아웃을 확인했다.
새로 들이는 구성 요소는 샌드박스 클러스터에 적용한다. Alcide 를 완전히 걷어낼 때까지 팀은 이를 유지할 수 있는 지식을 갖춰야 한다.
같은 원인 · 공통 어드미션 웹훅, 쿠버네티스 API 서버
같은 원인 · 공통 쿠버네티스 API 서버
같은 원인 · 공통 쿠버네티스 API 서버
같은 원인 · 공통 쿠버네티스 API 서버
같은 원인 · 공통 쿠버네티스 API 서버