AI foundation 모델의 근간이 되었던 대조학습, 그 시작에는 metric learning이 있었다

본 글은 AI foundation 모델의 핵심 기술인 대조학습(Contrastive Learning)의 근간이 되는 Metric Learning에 대해 설명합니다. Metric Learning은 데이터 포인트 간의 유사성 또는 비유사성을 측정하는 방법을 학습하여, 고차원 데이터를 저차원 임베딩 공간에 효과적으로 표현하는 것을 목표로 합니다.

이러한 임베딩은 유사한 데이터끼리 가깝게, 다른 데이터는 멀게 배치함으로써 다양한 다운스트림 태스크에서 성능 향상을 가져옵니다. 특히, 대조학습은 긍정적 쌍(positive pair)과 부정적 쌍(negative pair)을 활용하여 임베딩 공간을 학습하며, 이는 최근 LLM과 같은 foundation 모델의 발전에도 중요한 역할을 하고 있습니다.

글에서는 Metric Learning의 기본 개념과 함께, 이것이 어떻게 대조학습으로 이어지고 현대 AI 기술 발전에 기여하는지를 탐구합니다.