IL-0015 loveholidays · 2020-02-03 (게시일)kubernetesgcpnetworking
VPC 네이티브 GKE 클러스터는 노드마다 파드 보조 범위에서 /24 조각을 하나씩 떼어 줘요. 기본 최대 파드 수 110개의 두 배쯤이고, 실제로 파드를 몇 개 돌리든 상관없어요. 그래서 /16 범위는 수만 개의 파드를 담을 것 같아 보여도 노드 256개가 한계예요. 클러스터가 그 천장에 닿아 더 크지 못했어요. 파드를 적게 돌리는 노드 풀의 최대 파드 수를 낮춰 주소 사용을 3분의 1쯤 줄였고, 일부 풀은 더 큰 인스턴스로 옮겼어요. 보조 범위 확장은 동작이 문서화되지 않아 하지 않았어요.
보통 몇 분이면 끝나는 배포가 한 시간째 멈춰 있었어요. 새 파드의 절반은 서비스 중이고 나머지 절반은 Pending 이었어요. 노드 256개 중 쓸 수 있는 노드가 없다고 나왔고 오토스케일러는 노드를 더하지 못했어요.
원인 ? 용량 한계
동료가 배포가 느리다고 말했고, 파드 이벤트와 오토스케일러 상태 ConfigMap 으로 확인했어요.
GKE 는 노드마다 최대 파드 수의 두 배쯤 주소를 미리 떼어 두니, 파드 밀도와 상관없이 /16 은 노드 256개에서 끝나요. 풀마다 최대 파드 수와 노드 크기가 실제로 쓸 수 있는 손잡이예요. 큰 노드는 더 잘 채우지만 하나가 죽으면 더 크게 다쳐요.
같은 원인 · 공통 클러스터 오토스케일러, VPC 서브넷 또는 파드 주소 범위
같은 원인 · 공통 VPC 서브넷 또는 파드 주소 범위
같은 원인 · 공통 노드 풀
같은 원인 · 공통 노드 풀
IL-0017 편집자가 연결함