IL-0120 OpenAI · 2025-06-09ai-infranetworking
6월 9일 오후 11시 36분 PDT 에 클라우드에서 운영하는 GPU 서버의 호스트 OS 정기 업데이트가 상당수의 GPU 노드에서 네트워크 연결을 끊었다. 매일 예약된 시스템 업데이트가 systemd-networkd 를 재시작했고, 이 재시작이 OpenAI 가 운영 노드에서 돌리는 네트워크 에이전트와 충돌했다. 그 결과 영향받은 노드에서 라우트가 모두 지워졌고, 노드는 네트워크를 잃었다.
GPU 용량이 줄면서 ChatGPT 사용자의 오류율은 최고 약 35%, API 사용자의 오류율은 최고 약 25% 까지 올랐다. 팀은 영향받은 GPU 노드를 대규모로 다시 이미징하고 백그라운드 업데이트를 멈췄다. 노드의 네트워크를 빠르게 되살릴 비상 도구가 없어서 복구가 길어졌다. 6월 10일 오전 9시 40분에 API 의 주요 모델이 모두 정상으로 돌아왔고, 낮 12시 30분에 API 가 완전히 회복됐으며, 오후 3시에 모든 시스템이 복구됐다.
6월 9일 오후 11시 36분 PDT 에 여러 서비스에서 동시에 알림이 울렸다. 인프라가 네트워크 연결을 잃기 시작했고, 상황은 바로 엔지니어링 팀에 에스컬레이션됐다.
상당수의 클라우드 GPU 노드가 네트워크를 잃으면서 서비스가 쓸 수 있는 용량이 줄었다. 6월 10일 오전 1시 45분에는 용량을 다시 배분하는 동안 오류율이 약 5% 에 머물렀다.
영향이 가장 컸던 때는 6월 10일 오전 2시부터 오전 8시 PDT 사이였다. ChatGPT 의 오류율은 최고 약 35% 까지 올랐고, API 의 오류율은 최고 약 25% 였으며 가용성은 75% 까지 떨어졌다.
원인 ? 업그레이드로 깨진 호환성
장애가 시작된 6월 9일 오후 11시 36분 PDT 에 인프라가 네트워크를 잃기 시작하면서 여러 서비스의 알림이 바로 울렸고, 상황은 즉시 엔지니어링 팀에 에스컬레이션됐다.
호스트 OS 의 자동 업데이트가 네트워크 관리 서비스를 재시작하면, 같은 노드에서 라우트를 관리하는 다른 에이전트와 충돌해 노드 전체가 네트워크를 잃을 수 있다. 매일 도는 업데이트는 모든 노드에 거의 같은 시각에 적용된다. 네트워크가 끊긴 노드를 빠르게 되살릴 비상 도구가 없으면 노드를 다시 이미징할 수밖에 없고 복구가 길어진다.
같은 원인 · 공통 systemd-networkd, 노드 운영체제 이미지
같은 원인 · 공통 노드 운영체제 이미지
같은 원인 · 공통 노드 운영체제 이미지