IL-0119 OpenAI · 2025-01-23kubernetesazure
태평양 시간 오전 3시 30분부터 오전 7시 8분까지 chatgpt.com 과 일부 API 의 오류율이 높았다. 첫 원인은 ChatGPT 가 쓰는 Cosmos DB 의 장애였다. 서비스 제공자가 오전 4시 25분에 영향을 받은 DB 를 복구했다.
DB 가 돌아온 뒤에도 두 번째 문제가 이어졌다. 웹 서비스 파드의 헬스 체크가 실패하면서 파드가 비정상으로 표시됐고, 파드는 크래시 루프에 빠졌다. 그 결과 웹 계층으로 오는 요청을 모두 처리할 만큼 자원이 남지 않았다. 당시 OpenAI 는 이 상황을 사용자 재시도 탓으로 보았다. 웹 서버의 헬스 체크 로직을 고친 뒤에 서비스가 회복됐다.
태평양 시간 오전 3시 30분부터 chatgpt.com 과 일부 API 에서 오류율이 높아졌다. 상태 페이지는 이 장애를 전면 장애로 표시했다.
첫 번째 문제는 ChatGPT 가 쓰는 Cosmos DB 의 장애였다. 서비스 제공자가 오전 4시 25분에 DB 를 복구했지만 오류는 오전 7시 8분까지 이어졌다.
두 번째 문제는 웹 계층에서 나타났다. 웹 서비스 파드의 헬스 체크가 실패했고, 파드가 비정상으로 표시되면서 크래시 루프를 반복했다. 남은 파드로는 웹 계층으로 들어오는 요청을 모두 처리할 수 없었다. 당시 OpenAI 는 이 현상이 사용자들의 재시도 때문이라고 판단했다.
원인 ? 클라우드 제공자 장애
–
OpenAI 는 웹 시스템이 실패할 때 한꺼번에 무너지지 않고 단계적으로 기능을 줄이며 버텨야 한다고 결론지었다. DB 계층도 서비스 제공자의 장애를 견딜 수 있어야 한다고 보았다. OpenAI 는 장애가 길어지면 사용자의 제품과 사업, 생활에 영향을 준다고 인정했다. 그리고 이 두 가지 예방 조치를 우선 처리하겠다고 밝혔다.
같은 원인 · 공통 애플리케이션 데이터베이스
같은 원인 · 공통 애플리케이션 데이터베이스
같은 원인 · 공통 애플리케이션 데이터베이스