KafkaItemReader 적용기

본 글은 VIP & Vertical 팀에서 리뷰 개편 작업에 Kafka를 도입하며 겪은 경험을 공유합니다. Kafka를 선택한 주된 이유는 RDB 부하 조절을 위한 메시징 플랫폼 도입과, 리뷰 등록 후 여러 배치 작업을 병렬 처리하기 위함입니다.

Kafka는 Pub/Sub 기반의 Pull 방식과 ConsumerGroup의 offset 관리 기능으로 자원 효율성과 데이터 처리에 강점을 보입니다. 특히 Spring Batch와 연동하여 데이터를 일괄 처리하기 위해 KafkaItemReader를 선택하는 과정에서 발생한 문제점과 해결 과정을 상세히 다룹니다.

주니어 개발자로서 Kafka와 Spring Batch를 연동하며 배운 실질적인 내용을 공유하여 독자들에게 도움이 되고자 합니다.