분산 시스템 환경에서 Kafka Consumer 오프셋 이동하기

이 글은 Spring Kafka를 사용하여 분산 시스템 환경에서 Kafka Consumer의 오프셋을 이동하여 메시지를 재처리하는 방법을 다룹니다. 컨슈머 리밸런싱, 애플리케이션 중단 등 메시지 재처리가 필요한 상황과 기존 프로세스의 제약 사항(관리자 권한 필요, 컨슈머 중지 필수)을 설명합니다.

특히, 컨슈머 그룹을 중단하지 않고 오프셋을 이동하는 방법을 Spring Kafka의 Consumer 오프셋 이동 기능을 활용하여 소개합니다. 이를 통해 가용성 저하 없이 메시지 재처리를 수행할 수 있는 방안을 제시하며, 팀 내부적으로 독립적인 오프셋 관리가 가능하도록 하는 프로세스 개선의 필요성을 강조합니다.