📌 Node Maintenance & Downtime Handling

1. 노드 장애 또는 다운 발생 시

• 노드에 올라가 있던 Pod 접근 불가.
• 영향은 Pod 배포 방식에 따라 달라짐:
  • Replica 존재 → 예: Blue Pod → 다른 노드에서 서비스 가능 → 사용자 영향 없음.
  • Replica 없음 → 예: Green Pod → 단일 Pod만 죽음 → 사용자 영향 발생.
• Kubernetes 동작:
  • 노드가 바로 복구되면, kubelet이 재시작되면서 Pod도 복구.
  • 노드가 5분 이상 다운되면, kube-controller-manager의 pod-eviction-timeout (기본 5분) 후 Pod를 죽은 것으로 간주.
    • ReplicaSet에 속한 Pod → 다른 노드에 새로 생성됨.
    • ReplicaSet에 속하지 않은 Pod → 그냥 사라짐(복구 안 됨).

2. 빠른 유지보수 시 선택지

• 노드가 5분 이내에 복구될 확신이 있다면:
  • 짧게 업그레이드/리부트 가능.
  • 단, 불확실성이 크므로 위험 부담 존재.

3. 안전한 방법 → Drain & Cordon

• Drain (노드 비우기)
  • 노드에 있는 Pod들을 graceful terminate → 다른 노드에서 새로 스케줄됨.
  • 해당 노드를 자동으로 cordon (unschedulable) 처리 → 새 Pod가 스케줄되지 않음.
• Reboot 후 복구 절차
  • 노드가 다시 살아나도 cordon 상태 유지.
  • 관리자가 uncordon 명령으로 해제해야 새 Pod 스케줄 가능.
  • 단, 기존 Pod들이 원래 노드로 돌아오지는 않음. (삭제/재생성되는 경우 새롭게 스케줄될 뿐)

4. 주요 명령어

• kubectl drain <node>

  → Pod들을 다른 노드로 옮기고, 해당 노드를 unschedulable 처리.

• kubectl cordon <node>

  → Pod는 종료하지 않고, 새 Pod 스케줄만 막음.

• kubectl uncordon <node>

  → 노드를 다시 스케줄 가능 상태로 복원.

✅ 요약:

• 노드 다운 시 5분(기본)까지 기다렸다가 → ReplicaSet 여부에 따라 복구 여부 달라짐.