OpenZFS로 성능과 비용, 두 마리 토끼 잡기

토스페이먼츠 DevOps 엔지니어가 Elasticsearch 클러스터의 스토리지 시스템을 OpenZFS로 전환하며 겪었던 성능 저하 문제를 해결하고 비용을 절감한 경험을 공유합니다. 기존에는 Hot, Warm, Cold 존으로 데이터를 분류하여 관리했으나, Warm 존에서 사용하던 st1 볼륨의 랜덤 I/O 성능 저하로 인해 데이터 조회 시간이 증가하는 문제가 발생했습니다.

fio 실험을 통해 st1 볼륨의 성능 한계를 확인하고, 이를 해결하기 위해 OpenZFS를 도입하여 스토리지 성능을 개선하고 비용 효율성을 높인 과정을 상세히 설명합니다. 이를 통해 대규모 로그 데이터를 효율적으로 관리하고 서비스 안정성을 확보하는 방안을 제시합니다.