Apache Spark 기능

본 포스팅은 Apache Spark의 주요 기능들을 소개합니다. 이전 포스팅에 이어 Spark의 핵심 기능인 Spark SQL/DataFrame, Spark Streaming, Spark ML 세 가지를 중점적으로 다룹니다.

Spark SQL/DataFrame은 스프레드시트처럼 데이터를 로드하고 처리하는 기능으로, Pandas나 R의 DataFrame과 유사합니다. 다양한 데이터 형식(JSON, CSV, TEXT 등)과 저장소를 지원합니다.

Spark Streaming은 실시간 데이터 스트림 처리를 위한 기능이며, Spark ML은 머신러닝 라이브러리로 다양한 알고리즘을 제공하여 데이터 분석 및 예측 모델 구축에 활용됩니다. 이 기능들을 통해 대규모 데이터셋을 효율적으로 처리하고 분석할 수 있습니다.