IL-0010 Skyscanner · 2021-08-25kubernetesaws
수정하면서 템플릿 구분자가 빠졌고, 템플릿이 돌지 않아 그 파일로 만들던 네임스페이스 정의가 전부 깨졌어요. Argo CD 가 유효한 네임스페이스가 없는 상태로 맞추면서 모든 가용 영역과 리전의 서비스 478개를 지웠어요. 복구는 클러스터마다 올바른 설정을 되돌리고 동기화로 다시 세우는 것이었고, 리전 하나와 핵심 서비스부터 했어요. 네 시간 반쯤 뒤 트래픽을 다시 받았고 나머지는 이틀에 걸쳐 돌아왔어요. IAM 정책 변경 때문에 백업에 접근하기가 예상보다 어려웠어요.
웹사이트와 모바일 앱이 모두에게 한꺼번에 멈췄어요. GitOps 도구가 모든 리전의 모든 클러스터에서 서비스를 지우고 있었고, 제품은 네 시간 반쯤 내려가 있었어요.
알 수 없음
템플릿과 로직이 들어간 설정은 코드라서 테스트가 필요해요. 장애 시나리오와 런북이 충분히 비관적이지 않았어요. 백업은 복구해 봐야 증명되고, 거의 손대지 않는 파일을 전 세계에 즉시 배포하는 것은 위험이에요.
같은 원인 · 공통 Argo CD