Spark Backend Service – Optimizer

이 글은 Spark의 백엔드 서비스인 Optimizer에 대해 설명합니다. Spark은 Lazy evaluation 방식을 사용하여 여러 Transformation을 모아 튜닝하는 것이 효율적임을 강조합니다.

쿼리 수행을 위해 내부적으로 두 가지 엔진이 동작하며, Catalyst Project는 사용자의 코드를 실행 가능한 Plan으로 변환하는 역할을 합니다. Catalyst Pipeline은 Logical Plan과 Physical Plan으로 나뉘며, Logical Plan은 코드 기반의 추상화를, Physical Plan은 Cost Model 기반의 최적화된 실행 전략을 정의합니다.

이를 통해 쿼리 성능을 향상시키는 과정을 다룹니다.