IL-0024 Hugging Face · 2024-04-22ai-infra
정보 캐시 컬렉션을 무겁게 읽는 요청이 데이터베이스 프라이머리를 과부하시켰어요. 애플리케이션이 클라이언트 연결이 끊겨도 데이터베이스 작업을 취소하지 않아서 재시도가 쌓여 폭주했어요. 데이터베이스 클러스터는 필요한 등급으로 스스로 커지지 않았어요. 방화벽에서 사용자 에이전트 하나를 막고, 빠른 검색을 끄고, 점검 모드로 바꾸고, 파드를 내렸다 올리고, 강하게 속도를 제한하고, 데이터베이스 등급을 손으로 올렸어요. 근본 원인을 찾는 데 이삼일이 걸렸고 사흘째 아침에 전부 돌아왔어요.
아침부터 허브가 불안정해지더니 한 시간 안에 응답을 멈췄어요. 읽기 전용 데이터베이스 노드 둘이 계속 재시작했고 열리는 페이지도 느렸어요. 장애는 이틀 더 반복됐어요.
원인 ? 소프트웨어 결함
데이터베이스와 애플리케이션 메트릭이에요. 클라우드 제공자에 지원 요청도 열었어요.
어떤 메트릭을 봐야 하는지 배웠고, 데이터베이스를 자세히 들여다보니 병목이 드러났어요. 무관한 장애가 동시에 겹쳐 원인 찾기가 느렸어요.
–