서버가 속삭였다, “나 그만 괴롭혀…” 펫프렌즈 Batch 인프라 이야기

펫프렌즈 인터널 서비스 팀에서 대규모 데이터 처리를 위해 사용했던 배치 인프라의 변천사를 다루는 글입니다. 초기에는 Jenkins를 사용하여 다양한 언어(Node, Python, Java)로 배치 작업을 처리했으나, 데이터 규모 증가와 복잡성으로 인해 Jenkins 서버의 CPU 및 메모리 과부하 문제가 발생했습니다.

이에 대한 해결책으로 MSA 아키텍처를 도입하고 Kubernetes 환경으로 이전하여 배치 인프라를 개선한 경험을 공유합니다. 이를 통해 인프라 확장성과 안정성을 확보하고, 개발 생산성을 향상시킨 과정을 설명하며, 대규모 데이터 처리 시스템 구축에 대한 인사이트를 제공합니다.