KafkaConsumer Client Internals

이 글은 Apache Kafka의 KafkaConsumer 클라이언트 내부 동작 방식에 대해 설명합니다. Kafka는 뛰어난 성능과 안정적인 데이터 저장, 확장성 및 내결함성을 갖춘 분산 이벤트 스트리밍 플랫폼으로, 메시징 시스템, 로그 수집, 데이터 파이프라인 등 다양하게 활용됩니다.

Kafka는 TCP 기반의 자체 바이너리 프로토콜을 사용하며, KafkaProducer와 KafkaConsumer를 통해 데이터를 발행하고 구독합니다. 특히 이 글에서는 KafkaConsumer의 poll 메서드를 중심으로 브로커로부터 데이터를 가져오는 과정을 다룹니다.

1 버전을 기준으로 작성되었으며, Kafka의 기본 개념과 사용법을 숙지하고 있다는 가정 하에 KafkaConsumer의 구성 요소와 동작 원리를 심층적으로 분석합니다. 동작 원리를 심층적으로 분석합니다.