kafka 설정을 사용한 문제해결

메일 시스템 구조 개선 프로젝트에서 Kafka를 사용하며 발생했던 문제와 해결 과정을 공유하는 글입니다. Kafka는 LinkedIn에서 개발된 분산 메시징 시스템으로, 발행-구독 모델을 기반으로 동작하며 Producer, Consumer, Broker 등으로 구성됩니다.

Kafka 클러스터는 토픽에 데이터를 저장하며, 토픽은 여러 파티션으로 나뉘고 각 파티션은 메시지의 위치를 나타내는 오프셋을 가집니다. Consumer는 Consumer Group을 통해 메시지를 처리하며, 이 글에서는 Kafka 설정 관련 문제 해결 경험을 바탕으로 동종 업계 개발자들에게 실질적인 도움을 주고자 합니다.