Amazon MSK #3 Connect & Worker

이 글은 Amazon Managed Streaming for Apache Kafka(MSK)의 Connect와 Worker 기능에 대해 설명합니다. MSK Connect는 개발자가 Apache Kafka 클러스터로 데이터를 쉽게 스트리밍할 수 있도록 지원하는 관리형 서비스입니다.

1 오픈 소스 프레임워크를 기반으로 하며, Amazon S3, OpenSearch Service 등 외부 시스템과의 데이터 연동을 위한 커넥터 배포를 간소화합니다. Source Connector는 외부 시스템에서 Kafka 토픽으로 데이터를 가져오고, Sink Connector는 토픽의 데이터를 외부 시스템으로 내보내는 역할을 합니다.

MSK Connect는 커넥터의 자동 확장, 모니터링, 패치 및 관리 기능을 제공하여 운영 부담을 줄여주며, 사용한 리소스에 대해서만 비용을 지불하는 효율적인 데이터 스트리밍 솔루션입니다. 인 데이터 스트리밍 솔루션입니다.