IL-0023 Databricks · 2026-07-01 (게시일)ai-infra
포트가 끊긴 시간이 NCCL 의 InfiniBand 전송 타임아웃보다 길었어요. 재시도를 합쳐 7초쯤이고, PyTorch 워치독이 반응하기 전에 연결이 끊겼어요. 플릿 헬스 체크는 누적 다운타임이 아니라 포트가 끊긴 횟수를 셌고, 한 번은 임계값 아래였어요. NCCL 타임아웃 기본값을 올리고, 검사를 누적 다운타임 기준으로 바꾸고, 워치독이 울릴 때까지 GPU 를 놀리는 대신 작업이 체크포인트에서 다시 시작하게 했어요.
학습을 시작한 지 일곱 시간쯤에 작업이 NCCL 타임아웃으로 죽었어요. 로그에는 원인이 없었어요.
작업이 타임아웃으로 죽었어요. 상시 헬스 체크는 한 번의 끊김을 잡지 못했어요.
끊긴 횟수보다 누적 다운타임이 중요해요. 결과를 정하는 타임아웃은 워치독 타임아웃이 아니에요. 헬스 체크는 노드 수명 주기 전체를 덮어야 해요.
같은 원인 · 공통 InfiniBand 패브릭, NCCL, PyTorch
IL-0025 편집자가 연결함