IL-0042 UK Ministry of Justice · 2024-07-25kubernetesobservability
2024-07-25 에 영국 법무부 Cloud Platform 팀의 로깅 시스템에서 Elasticsearch 와 OpenSearch 가 애플리케이션 로그를 받지 못했다. 12:10 부터 cp-live-app-logs 에서 ClusterIndexWritesBlocked 경보가 시작과 회복을 되풀이했고, 13:45 부터는 Kibana 에 로그가 전혀 들어오지 않았다. 팀은 14:27 에 사용자 제보로 이를 알았고 14:54 에 장애를 선언했다.
fluent-bit 컨테이너 로그에는 “could not enqueue into the ring buffer” 오류가 찍혀 있었다. 팀은 fluent-bit 컨테이너를 모두 다시 시작했지만 몇 분 만에 같은 오류가 다시 났다. 15:18 에 OpenSearch 디스크가 가득 찬 것을 알아채고 디스크를 8000 에서 12000 으로 늘렸다. 15:58 에 증설이 끝나자 fluent-bit 가 다시 로그를 처리하기 시작했다. 근본 원인을 조사하는 동안에는 fluent-bit 가 OpenSearch 로 로그를 보내지 않도록 임시로 설정을 바꿨고, 16:19 에 해결을 선언했다.
복구까지 3시간 8분, 해결까지 4시간 9분이 걸렸다. 장애 기간의 사용자 로그는 잃었고 되찾지 못했다.
14:27 에 사용자가 #ask-cloud-platform 채널로 Kibana 에 13:45 부터 로그가 들어오지 않는다고 알려 왔다.
그보다 앞선 12:10 에 cp-live-app-logs 에서 ClusterIndexWritesBlocked 경보가 시작됐다. 이 경보는 13:40 까지 시작과 회복을 여러 번 되풀이했다. 13:45 부터는 Kibana 에 로그가 전혀 들어오지 않았다.
14:32 에 처음 살펴봤을 때 live 모니터링 네임스페이스에서는 문제가 보이지 않았다. 14:55 에 fluent-bit 컨테이너 로그에서 “could not enqueue into the ring buffer” 오류가 나왔다.
14:59 에 fluent-bit 컨테이너를 모두 rollout restart 했다. 로그가 일부 흐르기 시작했지만 몇 분 뒤 같은 오류가 다시 나왔다. 15:18 에야 OpenSearch 의 디스크 공간이 바닥난 것을 알아챘다.
증상 ? 모니터링 중단
원문은 처음 감지된 시각을 12:10 으로 적었다. 이때 cp-live-app-logs 에서 ClusterIndexWritesBlocked 경보가 시작됐다. 팀이 실제로 문제를 알게 된 것은 14:27 에 사용자가 #ask-cloud-platform 채널로 Kibana 에 13:45 부터 로그가 들어오지 않는다고 알려 왔을 때였다.
–
같은 원인 · 공통 텔레메트리 에이전트
같은 원인 · 공통 텔레메트리 에이전트
같은 원인 · 공통 텔레메트리 에이전트
같은 원인 · 공통 텔레메트리 에이전트
같은 원인 · 공통 텔레메트리 에이전트