IL-0117 OpenAI · 2024-08-16networking
2024년 8월 16일 태평양 시간 오전 11시 38분부터 오후 1시 16분까지 OpenAI 기본 API 의 안정성이 크게 떨어졌다. ChatGPT 대화 성공률이 낮아졌고 로그인과 계정 생성이 영향을 받았다. 장애는 44분과 15분, 두 번에 걸쳐 일어났다.
원인은 여러 요인이 겹친 것이었다. 예정된 유지 보수와 사용자 요청을 받는 클러스터의 인그레스 업그레이드가 함께 진행되면서 네트워크 컨트롤 플레인에 회귀가 생겼다. 회귀는 전에는 정상이던 동작이 새 변경으로 깨진 것을 말한다. 이 회귀 때문에 데이터 플레인이 잠깐 멈췄다. 연결이 잠깐 끊긴 탓에 일부 서비스가 비정상 상태가 되었고 자동으로 재시작됐다.
재시작은 예상보다 훨씬 오래 걸렸다. 다시 뜨는 서비스들이 무거운 초기화 쿼리로 백엔드 저장소에 과부하를 주었기 때문이다. 백엔드 저장소가 밀린 요청을 따라잡고 회복하는 데 시간이 더 필요했다.
2024년 8월 16일 태평양 시간 오전 11시 38분부터 오후 1시 16분까지 OpenAI 기본 API 의 안정성이 크게 떨어졌다. ChatGPT 대화의 성공률이 낮아졌고 로그인과 계정 생성도 영향을 받았다. 장애는 두 번에 걸쳐 일어났고, 각각 44분과 15분 동안 이어졌다.
사용자 요청을 받는 클러스터의 네트워크 연결이 잠깐 끊긴 뒤 일부 서비스가 비정상 상태가 되었고 자동으로 재시작됐다. 재시작은 예상보다 훨씬 오래 걸렸다. 다시 뜨는 서비스들이 무거운 초기화 쿼리를 백엔드 저장소에 보냈고, 저장소가 이를 버티지 못했다.
증상 ? 오류율 상승데이터베이스 과부하
원인 ? 업그레이드로 깨진 호환성
–
–
짧은 연결 끊김이 긴 장애로 번진 것은 복구 자체가 무거웠기 때문이었다. 다시 뜨는 서비스들이 무거운 초기화 쿼리로 백엔드 저장소 하나에 과부하를 주었다. 시작 경로에서 비용이 큰 쿼리를 빼면 복구가 짧아진다. 인프라 변경을 단계적으로 내보내고 관찰 기간을 길게 두면 회귀가 잡히기 전에 영향을 받는 시스템 수를 줄일 수 있다.
같은 원인 · 공통 인그레스 컨트롤러
같은 원인 · 공통 인그레스 컨트롤러
같은 원인 · 공통 인그레스 컨트롤러
같은 원인 · 공통 인그레스 컨트롤러