Self Supervised Learning on Billion Unlabeled Image Data 및 Full Stack Product - 연구과정(2)

본 글은 "Self-supervised Learning on Billion Unlabeled Image Data 및 Full Stack Product" 연구의 두 번째 과정으로, 대규모 비지도 이미지 데이터에 대한 자기 지도 학습 방법론의 연구 과정을 공유합니다. 특히 2020 Neurips에서 소개된 Contrastive Learning 기법인 SimCLR, MoCo, BYOL 등을 중심으로 연구를 진행했으며, Google Brain의 SimCLR 논문에서 제시된 대규모 컴퓨팅 자원 없이도 실제 학습이 가능한지 의문을 가지고 연구를 시작했습니다.

제한된 리소스(Tesla V100 single GPU) 환경에서 ImageNet보다 작은 규모의 STL10 데이터셋을 활용하여 프레임워크를 테스트했으며, ResNet 50 백본과 Adam 옵티마이저를 사용했을 때 가장 우수한 성능을 보였다는 연구 결과를 공유합니다.