VCNC가 Hadoop대신 Spark를 선택한 이유

VCNC는 비트윈 서비스의 데이터 분석 시스템을 Apache Spark와 Apache Zeppelin을 활용하여 재구성했습니다. 기존에 사용하던 Hadoop MapReduce는 복잡한 코드와 비효율성 등의 단점이 있어, 더 빠르고 범용적이며 관리하기 쉬운 Spark로 전환하게 되었습니다.

Spark는 인메모리 연산을 통해 MapReduce보다 훨씬 빠른 처리 속도를 제공하며, 다양한 라이브러리를 지원하여 데이터 분석 작업을 효율적으로 수행할 수 있습니다. 또한, Zeppelin을 통해 인터랙티브한 데이터 탐색과 시각화가 가능해져 데이터 기반 의사결정을 더욱 신속하고 정확하게 내릴 수 있게 되었습니다.

이러한 시스템 개선을 통해 VCNC는 데이터 분석의 생산성을 높이고 더 많은 가치를 창출하는 것을 목표로 합니다.