IL-0198 Datadog · 2023-03-08kubernetesnetworkingawsgcpazure

systemd 보안 패치가 Ubuntu 22.04 노드의 systemd-networkd 를 재시작해 Cilium 이 넣은 IP 규칙을 지웠고, 여러 리전과 세 클라우드의 Kubernetes 노드가 한꺼번에 네트워크를 잃었다.

systemd v248 부터 systemd-networkd 는 시작할 때 자신이 모르는 IP 규칙을 모두 지운다. v249 에서는 ManageForeignRoutingPolicyRules 설정으로 이 동작을 끌 수 있게 됐다. Ubuntu 20.04 의 systemd v245 에는 이 변경이 없지만, Ubuntu 22.04 는 v249 를 쓰고, 기본 설정에서 이 동작이 켜져 있다. Datadog 은 2022년 11월부터 22.04 를 단계적으로 배포했고, 3월 8일에는 전체 노드의 90% 넘게 22.04 였다. 그동안 systemd-networkd 는 새 호스트를 만들 때만 시작됐고, 그때는 지울 라우팅 규칙이 없어서 문제가 드러나지 않았다.

3월 7일 systemd 의 CVE 패치가 나왔다. 이 패치를 설치하면 systemd-networkd 를 포함한 systemd 구성 요소가 모두 재시작된다. Datadog 서버는 Ubuntu 무인 업그레이드 기본값을 그대로 썼다. 패키지는 하루 두 번 6:00 과 18:00 UTC 에 최대 12시간의 무작위 지연을 두고 내려받고, 업그레이드는 매일 6:00 UTC 에 최대 60분의 무작위 지연을 두고 실행한다. Datadog 은 노드를 주기적으로 교체하면서 리전과 클러스터별로 단계적으로 패치를 배포하고 있었지만, 무인 업그레이드는 꺼 두지 않았다. 그래서 새 systemd 를 미리 내려받은 22.04 노드가 모두 같은 한 시간 안에 패치를 설치했다.

Datadog 은 Cilium 으로 파드 네트워크를 관리하고, 파드는 클라우드 VPC 의 IP 를 받는다. AWS 와 Azure 에서는 파드용 추가 인터페이스를 쓰므로 Cilium 이 파드 IP 마다 소스 라우팅 규칙을 넣는다. 모든 클라우드에서 Cilium 은 우선순위 0 인 local 조회 규칙을 우선순위 100 으로 옮긴다. systemd-networkd 가 이 규칙들을 지우자, AWS 와 Azure 에서는 파드 트래픽이 잘못된 인터페이스로 나가 클라우드 네트워크에서 버려졌다. 모든 클라우드에서 local 조회 규칙이 사라지면서 노드 IP 로 돌아오는 응답이 로컬로 전달되지 않고 기본 경로로 다시 나갔고, 노드가 네트워크를 완전히 잃었다.

결과는 클라우드마다 달랐다. Google Cloud 와 Azure 는 게스트 OS 수준의 문제로는 인스턴스를 교체하지 않으므로 인스턴스가 네트워크 없이 살아 있었고, 재시작으로 디스크와 함께 되살릴 수 있었다. AWS 는 상태 검사에 실패한 Auto Scaling 그룹 인스턴스를 종료하고 교체했다. 그래서 stateless 워크로드는 빨리 회복했지만, 로컬 디스크에 데이터를 두는 데이터 저장소들은 데이터를 잃어 복구가 늦어졌다. 팀은 이 원인을 장애 첫 두세 시간 안에 파악했지만, 전체 복구는 그 뒤로도 오래 이어졌다.

심각도

–

영향 범위

All Datadog services across multiple regions; more than 60 percent of instances lost network connectivity, including the regions hosting CI/CD and automation tools

영향 사용자

–

지역

Multiple regions on AWS, Google Cloud and Azure, including EU1 and US1

감지까지

–

복구까지

–