AWS MSK Connect 효과적으로 운영하기

이 글은 AWS MSK Connect를 도입한 B2B 물류 스쿼드의 경험을 바탕으로 효과적인 운영 전략을 소개합니다. MSK(Amazon Managed Streaming for Apache Kafka)는 AWS에서 제공하는 완전 관리형 Kafka 서비스로, 데이터 일관성, 비동기 통신, 메시지 영속성을 특징으로 합니다.

글에서는 MSK와 MSK Connect의 기본 구조를 설명하고, 특히 오프라인 환경에서 비동기 통신 및 CDC 도입의 중요성을 강조합니다. 이를 통해 레거시 시스템에서 MSA 기반 신규 서비스로 전환하는 과정에서 발생할 수 있는 우려를 완화하고, MSK Connect를 중심으로 한 시스템 운영 방안을 제시하여 안정적인 서비스 구축에 기여하고자 합니다.