그리디 알고리즘을 이용한 중복 콘텐츠 클러스터링

버즈빌은 제휴 콘텐츠 퍼블리셔들의 콘텐츠를 크롤링하여 서비스하는데, 이 과정에서 유사하거나 중복되는 콘텐츠가 발생합니다. 특히 뉴스 콘텐츠의 경우 동일 주제로 여러 기사가 발행될 가능성이 높습니다.

본 글은 이러한 중복 콘텐츠를 효과적으로 관리하기 위한 두 단계 프로세스를 소개합니다. 첫 번째 단계는 콘텐츠의 이미지와 텍스트를 임베딩 벡터로 변환하고 코사인 유사도를 계산하여 중복 여부를 판단하는 것입니다.

두 번째 단계는 중복 관계로 구성된 그래프에서 클러스터링을 통해 대표 콘텐츠를 선정하는 것입니다. 이를 위해 그리디 알고리즘을 활용하여 중복 콘텐츠들을 하나의 클러스터로 묶고, 각 클러스터에서 대표 콘텐츠를 선택하는 방안을 제시합니다.