SOTA 알고리즘 리뷰 4 - ViT-G/14

본 글은 이미지 분류 분야의 최신 SOTA(State-of-the-Art) 알고리즘인 ViT-G/14를 소개합니다. ViT(Vision Transformer)는 트랜스포머의 멀티헤드 어텐션 기법을 이미지 분석에 적용한 모델로, 이미지를 분할하여 선형 입력 후 포지션 임베딩 및 벡터 시퀀스를 인코더에 전달하는 방식입니다.

ViT-G/14는 ViT 방법론의 최신 응용 버전으로, ImageNet 데이터셋에서 최고 성능을 달성하고 있습니다. 특히, 딥러닝 네트워크의 최종 선형 레이어인 '헤드'에 독립적인 Weight Decay(WD)를 적용하여 Few-shot 테스트에서 성능 향상을 관찰한 점이 특징입니다.

이는 데이터가 매우 적은 환경에서도 모델의 학습 능력을 높이는 데 기여할 수 있습니다.