Spark on Kubernetes로 이관하기

이 글은 우아한형제들 데이터플랫폼팀이 기존 AWS EMR 기반 Spark 환경의 클러스터 비용 증가 및 운영 복잡성 문제를 해결하기 위해 Spark on Kubernetes 환경으로 이관한 경험을 공유합니다. EMR의 높은 비용과 민감하지 못한 오토스케일링, 파이썬 패키지 의존성 문제, Spark 버전 업데이트의 어려움 등을 해결하고자 EKS 클러스터에 Spark를 통합하는 방안을 모색했습니다.

특히 AWS 환경에 최적화된 EMR on EKS 서비스를 도입하여 인프라 단일화를 통한 효율성 증대와 운영 부담 감소를 목표로 하는 과정을 설명합니다. 이를 통해 Spark 애플리케이션 실행을 위한 AWS 최적화 이미지와 인터페이스를 활용하여 기존의 단점을 극복하고자 했습니다.