트위터 Storm 소개

이 글은 트위터에서 개발한 실시간 분석 분산 시스템인 Storm을 소개합니다. Storm은 Hadoop과 유사한 아키텍처를 가지지만, 배치 처리 중심의 Hadoop과 달리 지속적으로 메시지를 처리하는 토폴로지 작업을 수행합니다.

Storm의 주요 컴포넌트로는 처리 흐름을 정의하는 그래프인 토폴로지, 튜플의 흐름을 나타내는 스트림, 그리고 스트림의 소스 역할을 하는 스파우트가 있습니다. 전통적인 메시지 큐 방식의 실시간 데이터 처리의 복잡성을 해결하기 위한 대안으로 Storm을 제시하며, Nimbus와 Supervisor 데몬을 통해 작업을 관리하고 Zookeeper를 이용해 장애에 대응하는 동작 방식을 설명합니다.