Spark Cluster 구축기

이 글은 여기어때컴퍼니 공통플랫폼개발팀 데이터 엔지니어가 EC2 환경에서 Spark Cluster를 구축한 경험을 공유합니다. 대용량 데이터를 빠르게 처리하기 위한 니즈에서 시작되었으며, 단일 서버의 한계를 극복하고자 클러스터 구축의 필요성을 느꼈습니다.

글에서는 Spark와 Hadoop의 관계를 설명하고, Spark Cluster 구성 시 고려사항을 다룹니다. 특히 AWS의 EMR 서비스와 직접 EC2에 Spark를 설치하는 방식의 차이점을 비교하며, 데이터 전처리 및 이관 작업을 효율적으로 수행하기 위한 Spark Cluster 구축 과정을 상세히 안내합니다.

Spark를 처음 접하는 사람들도 클러스터의 전반적인 개념을 이해할 수 있도록 구성되었습니다.