IL-0091 UK Ministry of Justice · 2023-06-06kubernetesaws
Cloud Platform 팀이 Terraform 으로 노드 인스턴스 타입을 바꾸자 노드가 한꺼번에 교체되었다. 그 노드 위에 있던 사용자 운영 파드도 한꺼번에 지워졌고, 사용자 서비스가 몇 분 동안 내려갔다. 대부분의 서비스는 10:30 쯤 돌아왔지만 DPS 서비스는 인증이 되지 않아 11:21 까지 내려가 있었다.
10:26 에 처음 감지되었고 11:21 에 복구되었다. 복구까지 55분이 걸렸고, 타임라인에는 13:11 에 해결로 닫았다고 적혀 있다. 팀은 중단 없이 인스턴스 타입을 바꾸는 절차를 AWS 에 물었다. 또 Terraform 으로 하는 이 변경을 중단 없이 할 방법을 정해 런북에 적기로 했다.
2023-06-06 10:23 에 한 사용자가 운영 파드가 한꺼번에 지워졌다고 알렸다. 여러 사용자가 같은 문제를 알렸고, 애플리케이션이 몇 분 동안 내려갔다는 Pingdom 알림을 받았다고 했다.
10:30 에 사용자들은 서비스가 다시 올라왔다고 알렸다. 같은 시각 팀은 노드 인스턴스 타입을 바꾸는 동안 노드가 한꺼번에 교체되고 있었다는 것을 알아냈다.
10:50 에 한 사용자가 DPS 서비스에 인증할 수 없어 서비스가 내려갔다고 알렸다. 팀은 11:00 에 장애를 선언했고, 11:21 에 DPS 서비스가 다시 돌아왔다는 연락을 받았다.
증상 ? 서비스 중단
사용자들이 운영 파드가 한꺼번에 지워졌다고 알렸고, 애플리케이션이 내려갔다는 Pingdom 알림을 받았다고 전했다. 첫 감지 시각은 10:26 이다.
–
–
같은 원인 · 공통 Terraform, 노드 풀
같은 원인 · 공통 노드 풀
같은 원인 · 공통 노드 풀
같은 원인 · 공통 노드 풀
같은 원인 · 공통 Terraform
같은 원인 · 공통 Terraform
같은 원인 · 공통 노드 풀