IL-0007 Adevinta · 2024-10-22 (게시일)kubernetesaws
VPC CNI 는 파드마다 VPC 주소를 하나씩 주기 때문에 파드가 늘면 IPv4 공간이 그만큼 줄어요. 첫 장애는 거의 쓰지 않는 작은 클러스터에서 났고 영향은 작았지만, 전체 클러스터에서도 똑같이 날 수 있었어요. 플랫폼 팀은 보조 CIDR 을 쓰는 커스텀 네트워킹을 작은 클러스터부터 적용하고 이전을 멈춘 뒤 전체에 펼쳤어요. 몇 달 뒤 Karpenter 로 옮기자 주소 부족 경보가 다시 왔어요. 새 프로비저너가 더 작은 인스턴스를 고르고 커스텀 네트워킹을 무시했기 때문이에요. ENI 예약 설정과 업스트림 수정으로 해결했어요.
작은 클러스터에서 DaemonSet 이 실패한다는 호출이 왔어요. 파드 상태를 보니 CNI 가 새 컨테이너에 주소를 못 주고 있었어요.
증상 ? IP 주소 고갈파드 Pending
원인 ? 용량 한계
DaemonSet 실패 호출이 왔고, 노드의 파드 상태로 확인했어요.
VPC CNI 는 큰 규모에서 쓰기 전에 용량 계획이 필요해요. 작은 클러스터에서 되던 것이 커지면 안 돼요.