카프카 컨슈머 그룹 리밸런싱 (Kafka Consumer Group Rebalancing)

이 글은 카프카 컨슈머 그룹 리밸런싱의 개념, 발생 시점, 그리고 리스크에 대해 설명합니다. 컨슈머 그룹 리밸런싱은 특정 컨슈머에 문제가 발생하여 파티션 소유권을 다른 컨슈머에게 이관해야 할 때 발생하는 조정 작업입니다.

리밸런싱은 컨슈머의 생성/삭제, 시간 내 Poll 요청 실패, 컨슈머 문제 발생 시 일어날 수 있습니다. 리밸런싱 중에는 컨슈머 처리 작업이 중단되며, auto commit 설정 시 메세지 중복 컨슈밍의 위험이 있습니다.

특히, 메세지 처리 시간이 길어지거나 Poll 요청 실패 시 리밸런싱이 발생할 수 있으며, 이로 인해 데이터 처리의 일관성 문제가 발생할 수 있음을 예시를 통해 보여줍니다.