Count-Min Sketch를 활용한 히트맵 개선 방안

본 글은 IMQA 개발팀에서 Count-Min Sketch라는 Sketch 알고리즘을 소개하고, 이를 IMQA 시스템 개선에 적용하는 방안을 모색합니다. Count-Min Sketch는 대규모 데이터 스트림에서 항목별 빈도를 효율적으로 계산하는 기법으로, 특히 무한히 증가하는 데이터 스트림에서 발생하는 저장 공간 및 처리 시간 문제를 해결하는 데 유용합니다.

IMQA는 현재 Redis를 캐시로 사용하고 있으며, Count-Min Sketch를 Redis에 적용하여 시간 범위에 따른 화면 로딩 속도 빈도를 표현하는 히트맵 차트와 같은 기능을 개선할 수 있는 가능성을 제시합니다. 이를 통해 방대한 데이터를 다루는 실시간 모니터링 솔루션의 성능 및 비용 효율성을 높이는 것을 목표로 합니다.