IL-0093 UK Ministry of Justice · 2020-08-14kubernetes
클러스터의 ingress 컨트롤러는 파드 6개로 돌고 있었다. 리더 역할을 하는 ingress 컨트롤러 파드가 공유 메모리를 다 썼다. 다른 파드들은 리더에게서 최신 nginx.config 파일을 받아 오지 못했고 크래시 루프에 빠졌다. 크래시 루프에 빠진 파드는 처음에 2개였지만, 런북대로 파드를 재시작하자 재시작한 파드도 같은 상태가 되어 4개로 늘었다.
팀이 리더 파드를 재시작하자 다른 파드들이 리더에 연결해 최신 설정을 받았고, 모두 Ready 와 Running 상태로 돌아왔다. 11:38 에 해결되었고, 복구까지 37분, 해결까지 55분이 걸렸다.
2020-08-14 10:43 에 클러스터의 ingress 컨트롤러 파드 복제본 6개 중 2개가 크래시 루프에 빠진 것이 감지되었다.
크래시 루프에 빠진 파드를 재시작해도 나아지지 않았다. 팀은 평소 런북대로 모든 파드를 차례로 재시작하기로 했다. 그런데 4번과 5번 파드를 재시작하자 그 파드들도 크래시 루프에 빠졌고, 6개 중 4개가 크래시 루프 상태가 되었다.
남은 파드까지 재시작하면 6개가 모두 내려가 클러스터의 모든 Ingress 가 끊길 위험이 있었다. 팀은 11:01 에 장애를 선언했다. 이때까지 팀은 리더 파드를 찾지도, 재시작하지도 않았다.
증상 ? 컨테이너 재시작 반복
2020-08-14 10:43 에 ingress 컨트롤러 파드 6개 중 2개가 크래시 루프에 빠진 것이 감지되었다.
–
–
같은 원인 · 공통 인그레스 컨트롤러
같은 원인 · 공통 인그레스 컨트롤러