IL-0022 Anthropic · 2025-08-05ai-infra
서로 관련 없는 문제 셋이 겹쳤어요. 일부 요청이 긴 컨텍스트 풀용 서버로 잘못 갔고, 고정 세션 때문에 후속 요청도 잘못된 서버에 머물렀어요. 뒤이은 부하 분산 변경이 영향받는 트래픽 비율을 키웠어요. TPU 서버의 설정 오류가 토큰 선택을 망가뜨렸어요. 그리고 근사 top-k 연산의 잠복한 컴파일러 버그가 예전 우회책을 걷어내자 드러났어요. 플랫폼마다 다르게 나타났고, 표준 벤치마크는 잡지 못했고, 개인정보 보호 장치 때문에 엔지니어가 들여다볼 수 있는 것이 제한됐어요. 라우팅 수정, 롤백 둘, 더 높은 정밀도의 정확한 top-k 로 고쳤어요.
8월 초부터 답이 나빠졌다는 사용자 보고가 들어왔는데 처음엔 보통의 피드백 잡음과 구분되지 않았어요. 8월 말에는 보고가 끊이지 않았고, 일부 응답에 엉뚱한 언어의 글자나 문법 오류가 섞였어요.
사용자 보고가 늘었고 공개된 보고도 있었어요. 급증을 부하 분산 변경과 바로 연결하지 못했어요.
벤치마크와 카나리가 품질 저하를 잡지 못했고, 잡음 많은 평가와 사용자 상호작용 접근 제한이 진단을 늦췄어요. 지속적인 품질 검사와 사용자 피드백 창구가 필요해요.
–