Spark 5편 – Spark Connect

이 글은 Apache Spark의 활용도 증대에 따른 다양한 애플리케이션 및 IDE 통합 요구사항을 해결하기 위해 등장한 Spark Connect에 대해 소개합니다. 기존 Spark 아키텍처는 SQL 외 원격 클러스터 연결 기능이 부족했으며, Livy와 같은 오픈소스는 안정성 문제를 안고 있었습니다.

0에 신규 기능으로 탑재되었으며, Spark Connect API라는 중계 서버를 통해 GRPC 기반의 단일화된 프로토콜로 다양한 클라이언트 시스템과 통신합니다. 이를 통해 원격에서 Spark 클러스터에 더 안정적이고 효율적으로 연결할 수 있게 되었습니다.

4 버전 이상에서만 활용 가능하며 RDD 등 일부 기능에 제약이 있습니다. n 및 Scala 언어에서 Spark 3.4 버전 이상에서만 활용 가능하며 RDD 등 일부 기능에 제약이 있습니다.