IL-0105 DFDS · 2021-06-22kubernetesawsnetworking
2021-06-22 DFDS 는 EKS 애드온을 kubectl 대신 Terraform 으로 직접 관리하려고 리팩터링과 정리를 하고 있었다. 이 변경으로 파이프라인이 VPC CNI 를 교체했고, 그 과정에서 타깃 그룹이 ALB 에서 떨어져 나갔다. 그 결과 클러스터로 들어오는 트래픽이 하나도 클러스터에 닿지 못했다.
팀은 기여 요인으로 두 가지를 꼽았다. 하나는 노드 교체를 빠르게 하려고 ALB 타깃 그룹의 등록 해제 지연을 영구히 낮춰 둔 것이다. 다른 하나는 핵심 네트워크 구성 요소를 교체한 것이다.
팀은 08:33 에 infrastructure-modules 참조를 되돌리는 수정을 커밋했다. 파이프라인이 AWS API 타임아웃으로 멈추자 팀은 08:38 에 파이프라인을 다시 돌렸다. 08:46 에 파이프라인이 타깃 그룹을 ALB 에 다시 붙이면서 서비스가 복구되었다. 감지까지 8분, 복구까지 25분이 걸렸다.
2021-06-22 08:29 UTC 에 알림이 울렸다. 쿠버네티스 클러스터로 들어오는 트래픽이 모두 실패했고, 모든 서비스가 503 을 냈다.
알림은 08:21 에 파이프라인이 VPC CNI 를 교체하고 8분 뒤에 왔다. 팀은 08:30 에 조사를 시작했고, 08:32 에는 고객도 문제를 알려 왔다.
원인 ? 설정 변경
08:29 UTC 에 알림으로 감지했다. 파이프라인이 VPC CNI 를 교체한 지 8분 뒤였다. 08:32 에는 고객도 문제를 알려 왔다.
팀은 등록 해제 지연을 주로 성능 측면에서만 보고 바꿨다. 중요한 파이프라인 실행은 끝날 때까지 지켜봐야 한다. 알림은 모든 사람이 받고 대응해야 한다. 뜻이 분명하지 않은 알림 문구는 고쳐 써야 한다.
같은 원인 · 공통 클라우드 로드 밸런서
같은 원인 · 공통 AWS VPC CNI
같은 원인 · 공통 AWS VPC CNI
같은 원인 · 공통 AWS VPC CNI
같은 원인 · 공통 Terraform
같은 원인 · 공통 Terraform
같은 원인 · 공통 클라우드 로드 밸런서
같은 원인 · 공통 클라우드 로드 밸런서
같은 원인 · 공통 클라우드 로드 밸런서
같은 원인 · 공통 Terraform
같은 원인 · 공통 클라우드 로드 밸런서