IL-0018 UK Ministry of Justice · 2023-01-11kubernetesawssecurity
노드와 CI 시스템이 옛 비밀번호로 계속 로그인을 시도했어요. 레지스트리가 반복된 실패에 속도 제한을 걸어 모든 풀이 실패했어요. Terraform 에서 비밀번호를 바꾸면 노드 런치 템플릿이 다시 쓰여 업무 시간에 노드를 교체해야 했어요. 그래서 이전 비밀번호를 되돌려 한 시간 반 안에 풀을 복구하고, 업무 시간 밖에 노드를 천천히 교체하며 제대로 바꾸기로 했어요. 영구 조치는 사람의 공용 비밀번호 대신 플랫폼 전용 레지스트리 토큰을 쓰는 것이었어요.
공개 레지스트리에서 이미지 매니페스트를 받다가 로그인 실패가 너무 많다는 오류가 났어요. 클러스터 자체 헬스 체크에서 노드가 이미지를 못 받는 것이 보였고, 사용자가 두 네임스페이스에서 ErrImagePull 을 알렸어요.
증상 ? 이미지 풀 실패
원인 ? 운영 실수
팀원이 레지스트리 오류를 봤고, 헬스 체크 DaemonSet 이 확인했고, 사용자가 지원 채널에 알렸어요.
전용 토큰을 쓰면 사람의 공용 비밀번호와 노드 설정이 묶이지 않아요.
–