Kafka에서 파티션 증가 없이 동시 처리량을 늘리는 방법 - Parallel Consumer

이 글은 Kafka에서 파티션 수를 늘리지 않고 동시 처리량을 향상시키는 방법으로 Parallel Consumer 라이브러리를 소개합니다. 기존에는 메시지 동시 처리량을 높이기 위해 파티션을 늘리는 것이 일반적이었지만, 파티션은 한번 늘리면 줄이기 어렵다는 단점이 있습니다.

Log&Metric 조직은 방대한 로그 처리를 위해 파티션 수가 과도하게 늘어난 상황에서 사이드 이펙트를 경험했고, 이를 해결하기 위해 Parallel Consumer를 도입했습니다. Parallel Consumer는 파티션 단위가 아닌 메시지 단위로 병렬 처리를 가능하게 하여 적은 파티션으로도 높은 동시 처리량을 달성할 수 있도록 돕습니다.

글에서는 Parallel Consumer의 개념, 동작 방식, 내부 구조, 그리고 순서 보장 방식에 대해 간략하게 설명합니다.