IL-0045 UK Ministry of Justice · 2023-11-01kubernetesawsobservability
영국 법무부 Cloud Platform 의 live 클러스터에서 Prometheus 가 여러 번 재시작했다. Prometheus 를 쓸 수 없는 동안 Cloud Platform 은 모니터링을 잃었고 그 구간의 메트릭이 빠졌다.
팀은 debug 로그를 켜고 로그를 조사했다. 11월 3일에 재시작 직전의 readiness probe 실패가 원인일 수 있다고 판단했고, readiness probe 타임아웃을 3초에서 6초로 늘렸다. 복구와 종료까지 걸린 시간은 35시간 36분이었다. 보고서의 주요 시점 목록에는 복구 시각이 11월 3일 14:38 로, 타임라인에는 16:01 로 적혀 있다.
보고서는 probe 가 왜 실패했는지 확정하지 않았다. 대신 데이터 수집량, 무거운 쿼리, Prometheus 에 상태 검사를 보내는 다른 서비스, velero 백업이 EBS 읽기와 쓰기에 주는 영향을 후속 조사 항목으로 남겼다.
2023-11-01 10:15 에 Pingdom 이 Prometheus - live healthcheck 가 DOWN 이라며 PagerDuty 로 높은 우선순위 알림을 보냈다. 팀은 알림을 확인하고 Prometheus 서버 상태를 살폈다.
10:41 에 몇 분 간격으로 같은 알림이 세 번째 울렸고 팀은 장애를 선언했다. 이때 Prometheus 파드는 재시작한 뒤 prometheus 컨테이너가 올라오는 중이었다. Prometheus 로그에는 Evaluation rule failed 가 많이 찍혀 있었고, monitoring 네임스페이스의 이벤트에는 Prometheus 의 Readiness Probe failed 가 기록되어 있었다.
12:35 에 팀은 원인을 알아보려고 Prometheus 의 로그 레벨을 debug 로 올렸다. 재시작이 반복되는 동안 Cloud Platform 은 한동안 모니터링을 잃었고 그 구간의 메트릭이 비었다.
원인 ? 미상
Pingdom 의 Prometheus - live healthcheck 가 DOWN 이 되면서 PagerDuty 높은 우선순위 알림이 울렸다. 몇 분 사이에 같은 알림이 세 번 울리자 팀은 장애를 선언했다.
–
–