IL-0145 Microsoft Azure · 2023-08-30kubernetesazure
2023년 8월 30일 08시 41분 UTC, Australia East 의 가용 영역 세 곳 중 하나에서 약 18마일 떨어진 전력 설비에 낙뢰가 떨어져 전압 강하가 일어났고, 여러 데이터센터의 냉각기가 멈췄다. 전압 강하 뒤 일부 냉각기는 자동으로 다시 켜졌지만 13대는 다시 켜지지 않아 사람이 손으로 재시작해야 했다. 현장 팀이 옥상의 냉각기를 데이터센터 하나씩 차례로 재시작했는데, 마지막 다섯 대에 닿았을 때는 냉수 순환 계통의 물 온도가 너무 높아 냉각기의 자기 보호 장치가 재시작을 막았다. 이 다섯 대가 냉각하던 두 데이터 홀은 냉각기가 최소 네 대 돌아야 하는데, 평소에는 일곱 대 중 다섯 대가 돌고 두 대가 대기하고 있었다.
10시 30분 UTC 데이터 홀 온도가 오르면서 일부 네트워크, 컴퓨트, 스토리지 장비가 자동으로 꺼졌다. 11시 34분 현장 팀은 데이터 내구성과 장비를 지키려고 남은 장비를 원격으로 내렸고, 그 덕에 냉수 온도가 내려가 12시 12분 냉각기를 다시 켤 수 있었다. 13시 30분 온도가 정상으로 돌아왔고 15시 10분 모든 장비에 전원이 다시 들어갔다. VM 은 22시 40분에 99%, 8월 31일 05시에 100% 복구됐다. 스토리지는 9월 1일에, SQL Database 는 테넌트 링 가운데 마지막 것을 비운 9월 3일 20시에 완전히 복구됐다.
AKS 쪽에서는 Australia East 의 AKS 컨트롤 플레인이 쓰던 컴퓨트를 잃었고 SQL Database 의 데이터에도 접근할 수 없었다. AKS 컨트롤 플레인의 기반 인프라는 여러 가용 영역에 걸쳐 배포되어 있었다. 그러나 AKS 는 생성, 조회, 수정, 삭제 작업에 쓰는 작업 큐를 Azure SQL Database 에 두었다. Australia East 의 이 데이터베이스는 영역 중복으로 전환할 예정이었지만 아직 설정되지 않아 장애 내내 쓸 수 없었다. Australia Southeast 의 AKS 서비스도 같은 데이터베이스를 쓰고 있어 그 리전까지 장애가 번졌다. SQL Database 가 복구되자 AKS 는 다른 조치 없이 정상으로 돌아왔다.
2023년 8월 30일 10시 30분 UTC 무렵부터 Australia East 리전에서 Azure, Microsoft 365, Power Platform 서비스에 접근하거나 쓰는 데 문제가 생겼다. AKS 에서는 리소스 공급자를 거치는 생성, 조회, 수정, 삭제 작업과 스케일링이 실패했다.
AKS 장애는 Australia East 에 그치지 않았다. Australia Southeast 리전의 AKS 서비스도 같은 데이터베이스에 의존하고 있어서 그 리전의 생성, 조회, 수정, 삭제 작업도 함께 실패했다. 두 리전 모두 이미 돌고 있는 고객 워크로드는 스케일링이나 다른 작업으로 AKS 리소스 공급자를 부르지 않는 한 영향을 받지 않았을 것으로 Microsoft 는 보았다.
같은 시각 리전 전체에서 여러 서비스가 함께 흔들렸다. 10시 47분 Cosmos DB 영향이 모니터링에 잡혔다. 10시 45분부터 12시 25분까지 Azure Resource Manager 의 Australia East 가용성이 약 99.999% 에서 최저 88% 로 떨어졌고, 쓰기 작업 성공률은 62% 였다. 리소스 그룹이 Australia East 에 있는 리소스를 관리하던 고객은 세계 어디에서든 오류가 늘었다.
원인 ? 클라우드 제공자 장애
10시 47분 UTC Cosmos DB 영향이 모니터링에 잡혔고, 10시 48분 첫 자동 공지가 Azure Service Health 로 나갔다. 11시 30분 공개 Azure 상태 페이지에 첫 공지가 올라갔고, 11시 36분 Australia East 의 모든 구독에 포털 공지를 보냈다.
AKS 컨트롤 플레인의 기반 인프라를 여러 가용 영역에 나눠 두어도, 생성, 조회, 수정, 삭제 작업이 거치는 작업 큐 데이터베이스가 영역 중복이 아니면 한 영역의 장애가 리전 전체의 AKS 작업을 멈춘다. 다른 리전이 같은 데이터베이스에 기대고 있으면 장애가 그 리전까지 번진다.
이미 돌고 있는 워크로드는 영향을 받지 않았을 것으로 Microsoft 는 보았지만, 스케일링처럼 리소스 공급자를 거쳐야 하는 일은 모두 막혔다. 영역 중복 스토리지, 그리고 영역 복원력이나 다중 리전 쓰기를 켠 Cosmos DB 계정은 이번 장애에서도 계속 동작했고, 영역 중복 SQL Database 도 프록시 모드로 연결한 일부 고객을 빼면 중단이 없었다.
같은 원인 · 공통 애플리케이션 데이터베이스
같은 원인 · 공통 애플리케이션 데이터베이스
같은 원인 · 공통 애플리케이션 데이터베이스