IL-0135 Crusoe Cloud · 2023-11-15ai-infra
2023년 11월 15일 Crusoe Cloud 의 us-northcentral1 리전 데이터센터 한 열에서 UPS 정기 점검이 진행 중이었다. 팀은 점검하려고 UPS 를 바이패스 모드로 두었다. 이 모드는 그 열의 전원을 끊지 않고 UPS 를 손볼 수 있게 한다.
점검 중에 다른 이유로 전원이 주 전원에서 예비 전원으로 넘어갔다. 이 전환을 받아 줄 UPS 가 빠져 있었기 때문에 그 열이 정전됐고, 서버가 모두 꺼지면서 그 안의 GPU VM 도 꺼졌다. 팀은 영향받은 VM 을 찾아내고 전원이 돌아오자 재시작했으며, 마지막 VM 은 11월 16일 00:20 UTC 에 다시 켜졌다.
Crusoe 는 UPS 점검 표준 운영 절차를 검토하고, 앞으로 짓는 데이터센터에는 UPS 를 이중으로 두겠다고 밝혔다.
2023년 11월 15일 20:31 UTC 에 us-northcentral1 리전 데이터센터의 한 열에서 정전이 나 그 리전 VM 의 일부가 꺼졌다. 상태 페이지는 us-northcentral1-a 의 일부 VM 을 쓸 수 없다고 알렸다.
그 열의 서버가 모두 꺼지면서 서버 안에서 돌던 GPU VM 도 함께 꺼졌다. 팀은 영향받은 VM 을 찾아낸 뒤 전원이 돌아오자 VM 을 다시 켜기 시작했다. 22:32 UTC 에 일부, 23:05 UTC 에 대부분을 되살렸고, 마지막 VM 은 11월 16일 00:20 UTC 에 재시작됐다.
원인 ? 의존성 장애
정전은 20:31 UTC 에 났고, 21:07 UTC 에 상태 페이지가 us-northcentral1-a 의 일부 VM 을 쓸 수 없다고 처음 알렸다. 21:31 UTC 에는 영향받은 VM 을 찾아냈다고 올렸다.
UPS 를 바이패스 모드로 둔 점검 시간에는 그 열에 전원 전환을 받아 줄 장치가 없다. 하나뿐인 UPS 가 점검 중일 때 다른 이유로 전원이 바뀌자 열 전체가 꺼졌고, 그래서 Crusoe 는 새 데이터센터에 이중 UPS 를 두기로 했다.
같은 원인 · 공통 데이터센터 전력·냉각
IL-0134 AUS01 데이터센터에 전력 문제가 생겨 GPU 노드 246대와 스파인 스위치, VAST 스토리지가 한꺼번에 재부팅됐고, 워크로드가 실패하고 NFS 마운트가 끊겼다.같은 원인 · 공통 데이터센터 전력·냉각