IL-0009 InfluxData · 2023-10-20 (게시일)kubernetes
Argo CD 가 생성된 파일을 순서대로 적용하면서 이름이 겹친 뒤쪽 객체가 운영 Application 을 덮어썼고, 원래 것의 리소스가 상태 저장 리소스까지 전부 정리됐어요. 팀은 빈 인스턴스를 만들 뻔한 반사적 롤백을 멈췄어요. 쿠버네티스 객체를 다시 만들어 볼륨을 붙이고, etcd 와 Zookeeper 를 백업에서 복구하고, 쓰기가 로그에 쌓이는 동안 Kafka 를 파드 하나씩 다시 세우고, 스토리지 파드가 오브젝트 스토리지에서 다시 색인하게 했어요. 병합 여섯 시간쯤 뒤에 전부 돌아왔고 데이터 손실은 없었어요.
모든 API 엔드포인트가 찾을 수 없음을 돌려줬어요. 쓰기, 읽기, 예약 작업, 데이터 수집이 한꺼번에 멈췄어요.
원인 ? 설정 변경
모니터링이 바로 잡지 못했어요. 무엇으로 알았는지는 보고서에 없어요.
이런 변경은 모니터링이 빨리 알아채야 해요. 상태 저장 시스템에서는 반사적 롤백보다 적어 둔 복구 계획이 나아요. 상태 저장 리소스는 정리에서 보호해야 해요.
같은 원인 · 공통 Argo CD
IL-0010 편집자가 연결함