Amazon EKS 환경에서 다양한Spark 애플리케이션 제출 방법 비교하기

본 게시글은 Amazon EKS 환경에서 Spark 애플리케이션을 제출하는 다양한 방법에 대해 비교 분석합니다. Spark on Kubernetes 아키텍처를 기반으로, spark-submit CLI, Spark Operator, AWS CLI, EMR Container Controller의 네 가지 주요 제출 방식을 소개합니다.

각 방식의 특징과 작동 원리를 설명하며, 사용자가 자신의 환경과 요구사항에 가장 적합한 Spark 애플리케이션 제출 방식을 선택할 수 있도록 돕는 가이드를 제공합니다. 특히, Spark on Kubernetes 아키텍처에서 Driver와 Executor가 어떻게 Pod 내에서 동작하며 설정 정보를 전달받는지 상세히 설명하여, 쿠버네티스 환경에서의 Spark 애플리케이션 실행 과정을 명확히 이해할 수 있도록 합니다.