IL-0043 UK Ministry of Justice · 2023-08-04kubernetesobservability

새 버전 fluent-bit에서 청크를 버리는 방식이 바뀌어 Kibana의 애플리케이션 로그에 긴 공백이 생겼다

영국 법무부의 Cloud Platform에서 사용자 애플리케이션 로그가 한동안 Kibana에 들어오지 않았다. 팀은 첫 신고 약 세 시간 뒤 새 버전 fluent-bit에서 청크를 버리는 방식이 바뀌었다는 것을 알아냈다. 같은 날 16:00에는 fluent-bit 버전을 한 번 더 올리고 나아지는지 지켜봤다.

8월 7일 10:30에 팀이 다시 모여 점검 순서를 정했고, 12:05에 fluent-bit 메모리 버퍼를 늘렸다. 8월 8일 16:10에 메모리 버퍼가 넘칠 때 파일 시스템에 쓰도록 하는 수정을 만들었고, 8월 9일 09:00에 머지해 Live 환경에 배포했다. 8월 10일 11:42에 로그를 더 작은 청크로 나눠 내보내도록 했다. 12:28에 복구했고 14:47에 장애를 종료했다. 복구까지 33시간 14분, 종료까지 35시간 33분이 걸렸다.

심각도: –
영향 범위: application logs of Cloud Platform users missing in Kibana for a period
영향 사용자: –
지역: –
감지까지: –
복구까지: 35h 33m