실시간 빅데이터는 어떻게 분석할까

스마트 기기와 SNS의 발달로 인해 방대한 양의 데이터가 실시간으로 생성되고 축적됩니다. 이러한 빅데이터를 실시간으로 분석하는 것은 사용자 패턴 파악 및 의사 결정에 중요한 역할을 합니다.

전통적인 빅데이터 처리 프레임워크인 Hadoop MapReduce는 배치 방식으로 데이터를 처리하여 실시간 조회에 어려움이 있습니다. 이를 극복하기 위해 실시간 분산 쿼리 방식(Impala, Apache Tez, Presto)과 스트리밍 처리 방식(Storm, Apache Spark)이 연구되었습니다.

실시간 분산 쿼리는 데이터를 각 노드에 분산하여 병렬 처리함으로써 응답 시간을 단축하고, 스트리밍 처리는 데이터 유입 시점에 분석하여 실시간 데이터 뷰를 생성하는 기법입니다. 이 글은 이러한 실시간 빅데이터 처리 기법들을 소개합니다.