IL-0118 OpenAI · 2024-11-25kubernetesai-infra

쿠버네티스 네임스페이스 라벨을 전역으로 바꾸자 네트워크 계층이 메타데이터를 다시 계산하면서 가장 큰 GPU 클러스터들 가운데 세 곳의 컨트롤 플레인이 과부하에 빠졌고, ChatGPT 와 API 가 타임아웃과 503 오류를 냈다.

2024년 11월 25일 태평양 시각 오전 10시 15분부터 OpenAI 의 API 와 ChatGPT 트래픽 상당 부분이 타임아웃과 503 오류로 실패했다. 원인은 쿠버네티스 네임스페이스 라벨을 전역으로 바꾼 변경이었다. 이 변경으로 네트워크 계층이 의도치 않게 메타데이터를 다시 계산했다. 변경은 작은 클러스터에는 문제없이 배포됐지만, 가장 큰 GPU 클러스터들 가운데 세 곳에서는 컨트롤 플레인을 과부하에 빠뜨렸다. 그 결과 연쇄 장애와 큰 지연이 생겼고 여러 OpenAI 제품의 오류율이 올라갔다.

팀은 영향받은 클러스터에서 워크로드를 손으로 빼내 영향을 줄였다. 컨트롤 플레인이 응답하지 않아 이 작업도 쉽지 않았다. 근본 원인을 찾은 뒤에는 클라우드 업체와 함께 컨트롤 플레인 노드 수를 늘리면서 동시에 데이터 플레인 노드 수를 줄였다. 그러자 컨트롤 플레인이 회복됐다. 팀은 이후 주요 워크로드 일부를 추가 보호 장치를 둔 채 이 클러스터들로 되돌렸다.

심각도: –
영향 범위: ChatGPT (Free, Paid, Enterprise and Search) and the API, worst for gpt-4-turbo-preview, gpt-4-o125-preview and text-embedding-3-large; three of the largest GPU clusters
영향 사용자: ChatGPT error rates peaked at 13% for Paid and 23% for Enterprise
지역: –
감지까지: –
복구까지: 3h 5m

증상

2024년 11월 25일 태평양 시각 오전 10시 15분부터 API 와 ChatGPT 트래픽의 상당 부분이 타임아웃과 503 오류로 실패했다.

ChatGPT 의 유료 사용자와 Enterprise 사용자는 10시 15분부터 12시까지 성능 저하를 겪었다. 오류율은 유료에서 13%, Enterprise 에서 23% 까지 치솟았다. 무료 사용자는 오후 1시 20분까지 성능 저하가 이어졌다. ChatGPT 의 검색 기능은 오전 11시 15분부터 낮 12시 5분까지 꺼져 있었다.

API 에서는 gpt-4-turbo-preview, gpt-4-o125-preview, text-embedding-3-large 모델의 영향이 가장 컸다. 이 모델들을 쓰는 클라이언트는 오전 10시 15분부터 늦게는 오후 1시까지 높은 지연과 오류율을 겪었다.

영향받은 대형 클러스터의 컨트롤 플레인이 응답하지 않아, 워크로드를 손으로 옮기는 작업도 더 복잡해졌다.

증상 ? 오류율 상승 지연 시간 증가 컨트롤 플레인 무응답