IL-0136 Microsoft Azure · 2026-09-29azureai-infra
Azure OpenAI Service 와 관련 Azure AI 서비스는 요청이 들어오면 리전의 백엔드 서비스에서 요청한 계정의 리소스 메타데이터와 구성 정보를 가져온다. 이 백엔드 서비스는 캐시 계층과 데이터베이스 계층을 읽는다. 백엔드 서비스를 부르는 다른 내부 서비스들은 백엔드 부하를 줄이려고 같은 정보를 자기 캐시에 따로 들고 있다.
09시 38분 UTC 에 이런 내부 서비스 하나의 계획된 배포가 Sweden Central 에서 시작됐다. 배포 과정에서 캐시가 비워졌고, 트래픽 정점 시간과 겹쳐 캐시 미스가 대량으로 났다. 그 서비스가 캐시를 읽는 방식에 있던 결함 두 개가 이를 키워, 대부분의 조회가 캐시를 건너뛰고 백엔드 서비스를 직접 불렀다. 10시 무렵 백엔드 서비스로 가는 트래픽은 평소의 약 20배가 됐다.
이 급증으로 백엔드 서비스가 캐시 계층에 보내는 요청이 크게 늘었고, 캐시 계층이 사용률 한계에 닿아 지연이 커졌다. 지연이 커지자 연결이 더 오래 열려 있었고, 클라이언트 재시도가 요청을 더 얹었다. 결국 인프라 노드 인스턴스의 네트워크 연결 용량이 바닥나 캐시 계층과 데이터베이스 계층으로 새 아웃바운드 연결을 맺을 수 없게 됐다.
트래픽 급증은 시작점이었고, 장애가 길어진 주된 이유는 백엔드 서비스가 인스턴스의 건강 상태를 판단하는 방식이었다. 인스턴스마다 도는 자동 헬스 체크는 데이터베이스 계층에 연결이 되어야 통과했다. 새 아웃바운드 연결을 맺지 못한 인스턴스는 헬스 체크에 실패해 설계대로 자동 재시작됐다. 재시작 루프에 들어간 인스턴스가 늘수록 요청을 받을 정상 인스턴스가 줄었고, 의존 서비스들의 재시도가 남은 인스턴스의 부하를 더 키웠다.
인스턴스 규모 조정과 컴퓨트, 메모리 증설로는 장애가 풀리지 않았다. 15시 40분 자동 헬스 체크가 원격 연결에 의존하지 않도록 구성을 바꾸자 재시작 루프가 멈추고 가용성이 돌아오기 시작했다. 15시 58분 고객 영향이 해소됐고, 16시 30분 트래픽 급증의 출처를 찾아 내부 서비스 배포와 연결 지었다.
2026년 9월 29일 10시 03분 UTC 부터 15시 58분 UTC 까지 Sweden Central 리전의 Azure OpenAI Service, Foundry Agent Service, Foundry Models, Azure AI services 에서 요청이 간헐적으로 실패했다. 고객은 이 리전에 올라간 모델과 데이터 플레인 API 에 요청을 보낼 때 지연 증가, HTTP 500 오류, HTTP 503 오류를 겪었다.
10시 17분 서비스 모니터링이 이 리전의 Azure OpenAI Service 요청 실패율 상승을 잡아 엔지니어링 팀에 알렸다. 11시 30분에는 인프라 노드의 서비스 인스턴스가 백엔드 서비스의 캐시 계층과 데이터베이스 계층에 연결할 때 타임아웃이 난다는 것을 확인했다.
기존 네트워크 지표와 진단 지표는 이번 연결 고갈을 제대로 보여 주지 못했고, 요청 실패와 연결 고갈의 원인을 연결 짓는 데 오래 걸렸다. 11시 21분에는 다른 엔지니어링 팀까지 불러 Sweden Central 의 Azure OpenAI Service 에 최근 나간 배포 가운데 이번 문제와 맞물리는 것이 있는지 살폈다.
13시 55분 데이터베이스 계층은 정상임을 확인했다. 아웃바운드 연결 수를 줄이려고 서비스 인스턴스 규모를 여러 방식으로 조정했지만 크게 나아지지 않았다. 15시에는 백엔드 서비스의 컴퓨트 자원과 리소스 한도를 더 늘리고, 영향받은 인스턴스의 인프라 상태를 조사하면서 인스턴스를 재시작했지만 이것도 장애를 끝내지 못했다.
원인 ? 배포 결함
10시 17분 UTC 서비스 모니터링이 리전의 Azure OpenAI Service 요청 실패율 상승을 감지해 엔지니어링 팀에 경보를 보냈다. 고객 영향이 시작되고 14분 뒤였다. 10시 28분 엔지니어가 투입돼 조사를 시작했다.
헬스 체크가 원격 의존성 연결에 기대면, 의존성 쪽 문제가 인스턴스를 계속 재시작시키는 루프로 번진다. 이번 장애는 트래픽 급증 자체보다 이 재시작 루프 때문에 6시간 가까이 이어졌다. 캐시를 비우는 배포를 트래픽 정점에 내보내면 캐시 미스가 뒤쪽 서비스로 한꺼번에 몰린다.
연결 고갈은 기존 네트워크 지표에 잘 드러나지 않았고, 그 사이 규모 조정과 자원 증설처럼 원인과 맞지 않는 조치에 시간을 썼다. Microsoft 는 고객에게 지수 백오프를 쓰는 재시도 패턴과 Microsoft Foundry 의 비즈니스 연속성 지침을 검토하라고 권했다.
–