IL-0154 DigitalOcean · 2024-09-25kubernetesnetworking
9월 25일 22:21 UTC, SFO3 코어 라우터 한 대에서 하드웨어 오류로 라인 카드 대부분이 동시에 재부팅됐다. 리전 사이 트래픽이 끊기고 백본으로 가는 트래픽이 버려졌으며, 백본을 오가는 데이터센터 트래픽 용량이 절반으로 줄었다. 라인 카드는 22:24에 다시 올라왔고, 22:30에 이 라우터의 트래픽이 돌아왔고, 22:50에 SFO3 컨트롤 플레인 시스템이 모두 다시 연결됐다.
DOKS 는 이보다 오래 영향을 받았다. 하드웨어 장애 뒤 일부 DOKS 머신에서 게스트 네트워킹이 회복되지 않아 머신이 비정상 상태로 남았다. 이 노드 위의 고객 클러스터는 연결 문제를 겪었고 쿠버네티스 컨트롤 플레인에 접속하기 어려웠다. 엔지니어들은 SFO3 DOKS 전체에서 영향받은 노드를 손으로 재생성했고, 9월 26일 01:40에 재생성이 끝나 클러스터가 정상으로 돌아왔다.
2024년 9월 25일 22:25 UTC부터 SFO3 리전의 DigitalOcean 서비스 전반에서 네트워크 연결 문제가 생겼다. 리전 전체 서비스는 22:50에 회복됐지만 일부 Managed Kubernetes 클러스터는 그 뒤에도 연결이 불안정했다.
일부 고객은 Managed Kubernetes 클러스터에 접속하거나 클러스터에서 다른 서비스로 연결하기 어려웠다. 23:07에 DOKS API 서버가 성능 저하 상태가 됐다. 23:59에는 SFO3 의 일부 DOKS 클러스터에서 지표를 수집할 수 없었고, 여러 노드가 "not ready" 상태인 것이 드러났다.
상태 페이지의 첫 공지는 23:34에 DOKS 연결 문제로 올라왔다. DigitalOcean 은 조사 중에 22:25 부터 22:50 까지 리전의 모든 서비스가 연결 문제를 겪은 더 이른 구간이 있었다는 것도 확인했다.
원인 ? DNS·네트워크 장애
–
네트워크가 몇 분 만에 돌아와도 게스트 네트워킹이 회복되지 않은 노드는 사람이 재생성할 때까지 비정상으로 남았다. 리전 전체 서비스는 25분 만에 돌아왔지만 DOKS 는 01:40까지 영향을 받았다. 자동 복구 조치가 이 경우를 처리하지 못해 SFO3 DOKS 전체에서 수동 작업이 필요했다.
–