IL-0013 loveholidays · 2020-02-15 (게시일)kubernetesgcpnetworking
노드의 연결 추적 테이블이 가득 찼어요. GKE 에서는 테이블 크기가 노드 메모리에 비례하고 대략 메가바이트당 다섯 항목이라, 흔히 인용되는 공식과 달라요. 노드를 줄인 순간 한도도 줄었고 같은 때 연결 수는 두 배가 됐어요. 메모리가 더 큰 노드로 워크로드를 옮기고 노드당 파드 수를 제한하자 해결됐어요. conntrack 사용률 경보를 더했어요.
서비스 구조 변경과 노드 풀 축소 뒤에 집계 프록시의 오류율이 올라갔고, HAProxy 가 연결 끊김을 계속 기록했어요.
원인 ? 용량 한계
HAProxy 의 연결 끊김 오류를 보고, node-exporter 의 conntrack 메트릭을 한도와 비교했어요.
문서에 나온 conntrack 공식이 GKE 의 실제 동작과 달랐어요. 노드 크기가 conntrack 용량을 직접 정해요.
같은 원인 · 공통 노드 풀
같은 원인 · 공통 노드 풀