실시간 추천 서비스를 위해 메시지 큐잉 도입하기(with Redis Streams)

LINE VOOM 팀은 실시간 추천 시스템 구축을 위해 메시지 큐잉 시스템 도입을 결정했습니다. 기존의 일일 단위 추천 방식은 실시간 이벤트 반영에 한계가 있었기 때문입니다.

이를 극복하기 위해 사용자의 게시물 관련 액션 이벤트를 Kafka 토픽에서 받아 처리하는 'Retriever' 시스템을 구축했습니다. Retriever는 이벤트 검수, 메타데이터 추출, 임베딩 생성 및 저장 등의 작업을 수행하며, 확장성, 유연성, 안정성, 쉬운 운영, 성능을 주요 설계 원칙으로 삼았습니다.

특히 큐잉 시스템을 채택하여 이러한 원칙들을 효과적으로 달성하고자 했습니다. Redis Streams를 활용하여 실시간 추천 서비스의 성능과 반응성을 향상시키는 것을 목표로 합니다.