서킷 브레이커가 풀리자 낡은 상태를 근거로 쌓여 있던 용량 조정이 한꺼번에 실행돼 여러 추론 엔진이 동시에 빠졌고, OpenAI API 의 오류율과 지연 시간이 올랐다.

증상

2026년 3월 4일 오후 4시 26분 PST 무렵부터 약 30분 동안 여러 모델의 API 요청에서 오류율과 지연 시간이 올랐다. 영향은 주로 API 트래픽에 나타났고, Codex 트래픽 일부도 영향을 받았다.

전체 API 성공률이 잠시 떨어졌고, 오류율은 모델마다 달랐다. 영향을 받은 모델은 gpt-4.1, gpt-4.1-mini, gpt-4o-mini, gpt-5 계열 모델, OpenAI o3, Codex 모델을 비롯한 여러 텍스트 모델과 코드 모델이었다. 주요 모델 가운데 GPT-4o mini 가 가장 크게 영향을 받았다.

증상 ? 오류율 상승지연 시간 증가

원인

촉발

보호용 서킷 브레이커가 일부 스케줄링 작업을 멈춰 둔 사이에 인프라 작업이 큐에 쌓였고, 서킷 브레이커가 풀리자 이 작업이 한꺼번에 실행됐다.

감지

–

조치

• 엔지니어들이 영향을 받은 모델에 인프라 자원을 손으로 다시 배정했다.
• 추론 엔진을 다시 올리고 모델에 재배정해 서비스를 되살렸다.

후속 조치

• 자동 용량 관리 시스템이 실제 상태와 어긋났을 때 이를 더 잘 감지하고 대응하도록 보호 장치를 보강한다. 예정
• 서킷 브레이커와 스케줄링 시스템의 상태와 그 영향을 쉽게 알아볼 수 있도록 관측성을 높인다. 예정
• 오래 멈췄다가 풀린 뒤 큐에 쌓인 작업이 대량으로 한꺼번에 실행되지 않도록 보호 장치를 더한다. 예정
• 용량 조정이 실제 상태와 어긋나는 문제를 잡아내도록 모니터링과 알림을 개선한다. 예정

교훈

실행을 멈춘 동안에도 작업을 큐에 쌓는 자동화는 멈춤이 풀리는 순간 낡은 상태를 근거로 한 변경을 한꺼번에 쏟아낼 수 있다. 서킷 브레이커가 무엇을 멈춰 두었는지, 풀릴 때 무엇이 실행될지 눈으로 확인할 수 있어야 한다. 긴 멈춤 뒤에 쌓인 작업이 대량으로 한 번에 실행되지 않게 막아야 한다.

출처

• https://status.openai.com/incidents/01KJXQDJ6P1CG5YNXKZRY2H6RX/write-up · official-status

관련 사례

–