Trino로 타임아웃 개선하기

NHN Cloud의 클라우드AI팀에서 NHN AppGuard 서비스의 로그 조회 속도 저하 및 타임아웃 문제를 해결하기 위해 Trino를 도입한 경험을 공유합니다. NHN AppGuard는 하루 평균 600만 건의 로그를 수집하며, 월 단위 집계 쿼리가 1억 건 이상의 데이터를 스캔하면서 성능 이슈가 발생했습니다.

이를 해결하기 위해 쿼리 최적화, 인덱스 튜닝, 인덱스 힌트 추가 등의 방법을 적용했습니다. 또한, 한 달 전체 데이터를 스캔하던 쿼리를 당일 증가분만 조회하도록 수정하고, 대시보드 조회 시 캐싱 전략을 활용하는 방안을 모색했습니다.

이 글은 대규모 로그 데이터 처리 시 발생하는 성능 문제를 Trino를 활용하여 개선하는 구체적인 과정을 담고 있습니다.