IL-0051 thredUP · 2018-10-23 (게시일)kubernetesawsobservability

외부 업체의 로그 클라이언트가 새 컨테이너가 뜰 때마다 파일 디스크립터를 다시 열고 이전 것을 닫지 않아 쿠버네티스 노드가 too many open files 로 내려갔다

thredUP 의 공동 창업자이자 CTO 인 Chris Homer 가 1년 동안 전체 스택을 쿠버네티스로 옮기며 배운 것을 소개한 발표에 나온 장애다. thredUP 은 AWS 에서 kops 로 쿠버네티스를 운영했고, 서비스 수는 30개에서 40개 정도였다.

마이그레이션 도중 노드의 열린 파일 수가 계속 늘었다. 팀은 관련 설정 값을 올렸지만 잠시 버틸 뿐이었고, 결국 노드가 터져 서비스가 내려갔다. 노드를 죽이고 새 노드를 띄워 다시 배포하면 복구는 됐다.

엔지니어 Alex 가 외부 업체와 함께 원인을 파고들었다. 발표자는 업체가 이 문제를 이미 고쳤다는 이유로 업체 이름을 밝히지 않았다. 로그 파일을 쓰는 컨테이너가 세 개 떠 있으면 로그 파일마다 파일 디스크립터가 하나씩 있다. 새 컨테이너가 뜨면 이 클라이언트는 새 로그 파일의 디스크립터를 만들 뿐 아니라 기존 세 파일의 디스크립터도 다시 만들었고, 이전 세 개는 열어 둔 채로 두었다. 쿠버네티스에서는 배포할 때마다 컨테이너가 생기고 사라지며 노드 사이를 옮겨 다니므로, 컨테이너가 많은 노드일수록 열린 파일 수가 빠르게 쌓였다. 팀은 업체와 함께 문제를 다뤘고 결국 그 업체의 서비스를 쓰지 않게 됐다.

심각도

–

영향 범위

Kubernetes nodes running the log client; services on those nodes went down

영향 사용자

–

지역

–

감지까지

–

복구까지

–