Zookeeper에 의존하지 않는 Kafka를 준비하기 : Amazon MSK에서 KRaft 모드 사용하기

이 글은 Amazon Managed Streaming for Apache Kafka(Amazon MSK)에서 KRaft 모드를 사용하는 방법을 소개합니다. 기존 Kafka 아키텍처는 Zookeeper를 사용하여 메타데이터를 관리했지만, 브로커 및 파티션 수가 증가함에 따라 Zookeeper가 성능 병목 현상을 일으키는 한계가 있었습니다.

KRaft 모드는 Zookeeper 없이 Kafka 자체적으로 메타데이터를 관리하여 이러한 문제를 해결합니다. 글에서는 KRaft 모드의 등장 배경과 기존 Zookeeper 모드의 한계를 설명하고, Amazon MSK가 KRaft 모드를 어떻게 지원하는지 알아봅니다.

이를 통해 개발자는 더 효율적이고 안정적인 Kafka 클러스터를 운영할 수 있습니다.