Spark 4편 – Broadcast

본 글은 Spark의 성능 최적화를 위한 Broadcast 기능에 대해 설명합니다. Spark에서 성능을 높이는 핵심은 노드 간 데이터 이동, 즉 셔플을 최소화하는 것입니다.

Broadcast는 지정된 데이터셋이나 변수를 모든 노드에 복사하여 이 셔플 과정을 줄이는 효과적인 방법입니다. Broadcast Variables는 데이터를 직렬화하여 작업자 노드의 메모리에 로딩하며, 읽기 전용으로 변경이 불가합니다.

또한, 크기가 작은 데이터프레임에 대한 Broadcast Join은 조인 속도를 크게 향상시킬 수 있습니다. 7초로 단축되는 성능 개선 효과를 보여줍니다.

메모리 로딩으로 인한 오버헤드를 고려하여 적절한 상황에 사용하는 것이 중요합니다. 개선 효과를 보여줍니다. 메모리 로딩으로 인한 오버헤드를 고려하여 적절한 상황에 사용하는 것이 중요합니다.