대용량 스트리밍 데이터 실시간 분석

본 글은 네이버 TV연예 서비스에 적용된 대용량 스트리밍 데이터 실시간 분석 플랫폼의 구조와 적용 사례를 소개합니다. 기존의 시간 단위 분석으로는 콘텐츠 소비 변화를 빠르게 감지하기 어렵다는 문제점을 지적하며, 1분, 5분, 10분 등 짧은 간격으로 데이터를 분석하는 실시간 분석의 필요성을 강조합니다.

네이버 TV연예 서비스는 사용자가 소비하는 연예 기사 데이터를 대상으로 전체 사용자, 성별, 학생, 연령, 앱(카카오톡, Facebook) 등 다양한 기준으로 통계를 추출합니다. 이를 위해 Spring과 Kafka producer로 구성된 시스템을 통해 데이터를 수집하고, Kafka를 이용하여 대용량 스트리밍 데이터를 실시간으로 처리하는 플랫폼 구조를 설명합니다.

이를 통해 서비스 운영에 필요한 사용자 반응을 신속하게 파악하고 서비스 개선에 활용할 수 있습니다.