Kubernetes Job과 커스텀 컨트롤러를 활용한 배치 처리 경험기

이 글은 VM 서버에서 배치 작업을 실행하며 겪었던 동시 실행의 어려움을 해결하기 위해 Kubernetes Job과 커스텀 컨트롤러를 활용한 경험을 공유합니다. 기존 VM 환경에서는 배치 작업 수가 늘어남에 따라 동시 실행에 제약이 있었고, 서버 증설은 비용 및 관리 부담을 증가시켰습니다.

Kubernetes Job을 사용하면 클러스터에서 일회성 작업을 독립적으로 실행하여 전체 작업 시간을 단축하고 시스템 효율성을 높일 수 있습니다. 또한, 커스텀 컨트롤러를 구현하여 Job 스케줄러를 구축함으로써 Job 실행을 더욱 유연하게 관리할 수 있게 되었습니다.

이를 통해 배치 처리 시스템의 안정성과 확장성을 확보하고 자원 활용도를 개선했습니다.