IL-0121 OpenAI · 2025-07-09ai-infra

우선순위 낮은 워크로드를 관리하는 컨트롤 플레인 클러스터에 잘못된 코드가 배포되어, 그 클러스터가 함께 관리하던 운영 추론 워크로드가 망가졌다

2025-07-09 오후 2:10 부터 3:05 PDT 사이에 잘못된 코드 변경이 컨트롤 플레인 클러스터에 배포되었다. 이 클러스터는 주로 우선순위 낮은 워크로드를 관리했지만, 일부 운영 추론 워크로드도 함께 관리하고 있었다. 그래서 일부 API 모델 엔드포인트의 성능이 떨어지고 ChatGPT 검색의 가용성이 줄었다.

OpenAI 는 잘못된 코드 변경을 빠르게 롤백해 정상으로 되돌렸다. 그 뒤 운영 추론 워크로드가 이 클러스터에서 관리되지 않게 막는 안전장치를 더했고, 영향이 큰 컨트롤 플레인 변경의 배포 테스트를 강화했다. 운영 추론 워크로드를 모두 운영용 컨트롤 플레인 클러스터로 옮기는 일과 서킷 브레이커를 만드는 일은 진행 중이다.

심각도

–

영향 범위

gpt-4.1-mini API success rates degraded for about 20 minutes; ChatGPT search error rates raised for about 35 minutes

영향 사용자

–

지역

–

감지까지

–

복구까지

55m