Spark 1편 – Backend Service – Optimizer

이 글은 Apache Spark의 Optimizer 작동 방식에 대해 설명합니다. Spark은 Lazy evaluation 방식을 사용하여 여러 Transformation을 모아서 최적화하는 것이 단일 Transformation 튜닝보다 효율적임을 강조합니다.

쿼리 수행을 위해 내부적으로 Catalyst Project와 Tungsten Project라는 두 가지 엔진이 동작합니다. Catalyst Project는 사용자가 작성한 코드를 실행 가능한 Plan으로 변환하며, Logical Plan을 Physical Plan으로 변경하는 역할을 합니다.

Logical Plan은 데이터 변환 단계를 추상화하고 최적화가 적용되지 않은 상태를 정의하며, Physical Plan은 Cost Model 기반의 실행 전략에 따라 최적화 작업을 수행합니다. 이 글은 Spark의 쿼리 최적화 메커니즘을 이해하는 데 도움을 줍니다.