HDFS 쓰기 파이프라인을 활용한 HBase의 WAL 쓰기 최적화

네이버 검색에서 사용하는 HBase 기반 데이터 저장소 Cuve의 WAL 쓰기 성능 최적화에 대한 글입니다. HBase는 HDFS와 함께 사용되며 내구성, 지속성을 보장하는 NoSQL 분산 데이터베이스입니다.

쓰기 요청 시 MemStore에 먼저 저장하고 주기적으로 HDFS에 Flush하며, 데이터 유실 방지를 위해 WAL에 변경 사항을 기록합니다. 기존 HBase 버전 1에서는 HDFS의 DFSOutputStream을 사용해 WAL 데이터를 HDFS에 저장했으나, 3개의 DataNode에 쓰이는 과정에서 지연 시간 증가 및 파이프라인 복구 실패로 인한 장애가 발생했습니다.

이 글은 이러한 문제점을 분석하고, HBase 버전 2에서 도입된 WAL 쓰기 전용 Fan-out DFSOutputStream이 HDFS 프로토콜을 어떻게 활용하여 문제를 해결했는지 설명합니다.