AUS01 데이터센터에 전력 문제가 생겨 GPU 노드 246대와 스파인 스위치, VAST 스토리지가 한꺼번에 재부팅됐고, 워크로드가 실패하고 NFS 마운트가 끊겼다.

증상

2026년 2월 14일 21:06 UTC 에 AUS01 데이터센터의 GPU 노드가 모두 동시에 재부팅됐다. 노드는 곧 다시 올라왔지만, 계획에 없던 재부팅이었고 여러 고객이 영향을 받았다.

노드가 쓰던 스토리지도 연결이 끊겨 워크로드가 실패했다. 전원이 나가면서 GPU 노드 246대, 스파인 스위치 4대 전부, mCPU 노드, VAST 스토리지 인프라가 재부팅됐다.

스토리지가 돌아온 뒤에도 대량 재부팅의 영향으로 일부 고객 VM 에는 NFS 마운트가 stale 상태로 남거나 비어 있었다. stale 상태는 마운트 지점은 남아 있지만 NFS 서버의 파일에 더 이상 접근할 수 없는 상태를 말한다.

증상 ? GPU 인식 불가스토리지 연결 끊김

원인

촉발

AUS01 데이터센터에 전력 문제가 생겨 전원이 끊겼다.

감지

–

조치

• 컴퓨트 패브릭과 InfiniBand 연결을 복구해 스파인 스위치 4대 전부와 대부분의 리프 스위치를 다시 온라인으로 올렸다.
• UPS 이중화를 일부 복구하고, 스토리지와 보호 전원을 완전히 되살리는 작업을 이어 갔다.
• AUS01 의 모든 노드 전원을 올리고 물리 점검을 마친 뒤 스토리지를 다시 올렸다.
• us-west-3 의 Starbase 와 스토리지에 의존하는 다른 서비스를 복구했다.
• NFS 마운트가 stale 상태이거나 비어 있는 고객에게 VM 을 재부팅하라고 안내했고, VM 재부팅으로 풀리지 않으면 하이퍼바이저 재부팅이 필요하다고 알렸다.

후속 조치

–

교훈

전원이 끊겨 GPU 노드와 함께 네트워크 스파인과 공유 스토리지까지 재부팅되면, 노드 자체가 다시 뜨는 것보다 전체 복구가 훨씬 오래 걸린다. GPU 노드는 곧 다시 올라왔지만, 팀은 패브릭을 먼저 되살렸고 스토리지는 물리 점검을 마친 뒤에야 다시 올렸다. 일부 VM 에는 stale 상태의 NFS 마운트가 남아, Lambda 는 고객에게 VM 을 재부팅하고 그래도 안 되면 하이퍼바이저를 재부팅하라고 안내했다.

출처

• https://status.lambda.com/incidents/01KHF5F5EJ8K9KC7XJS4ESS2BT · official-status

관련 사례

• IL-0133 폭풍으로 데이터센터 냉각이 멈춰 us-central1 리전 전체가 내려갔고, 디스크 핫플러그 버그로 Managed Kubernetes 컨트롤 플레인 약 140개의 복구가 길어졌다.Nebius · 2026

  같은 원인 · 공통 InfiniBand 패브릭, 데이터센터 전력·냉각

• IL-0023 InfiniBand 포트 하나가 한 번 내려갔다 복구되면서 7시간째 돌던 학습 작업이 NCCL 타임아웃으로 죽었다Databricks · 2026

  같은 원인 · 공통 InfiniBand 패브릭

• IL-0025 H100 4,088개 클러스터를 구축하는 동안 InfiniBand 배선 오류, 링크 플래핑, GPU 와 PCIe 하드웨어 결함이 학습을 멈추거나 늦췄다Imbue · 2024

  같은 원인 · 공통 InfiniBand 패브릭

• IL-0135 UPS 를 바이패스 모드로 둔 정기 점검 중 전원이 예비 전원으로 넘어가면서 데이터센터 한 열이 정전됐고, 그 열의 GPU VM 이 모두 꺼졌다.Crusoe Cloud · 2023

  같은 원인 · 공통 데이터센터 전력·냉각

• IL-0126 OPT-175B 학습이 클라우드 노드의 ECC 메모리 오류, 같은 결함을 안고 돌아온 교체 노드, 멈추는 체크포인트 다운로드 때문에 2주 동안 40번 넘게 재시작했다.Meta AI · 2021

  같은 원인 · 공통 InfiniBand 패브릭