효율적인 GPU 메모리 사용을 위한 여러 기법

이 글은 딥러닝 모델 학습 및 추론 시 발생하는 GPU 메모리 부족 오류(OOM)를 해결하기 위한 다양한 기법을 소개합니다. OOM은 한정된 GPU 메모리에 데이터가 가득 차 발생하는 문제로, 딥러닝 모델의 파라미터, 그레이디언트, 옵티마이저 상태, 순전파 상태 등이 GPU 메모리를 차지합니다.

글에서는 단일 GPU 효율적 활용을 위해 그레이디언트 누적, 그레이디언트 체크포인팅 기법을 설명하고, 분산 학습 환경에서의 데이터, 모델, 파이프라인, 텐서 병렬화와 ZeRO 옵티마이저를 소개합니다. 또한, PEFT, LoRA, QLoRA와 같은 파라미터 효율적인 미세 조정 기법과 페이지 옵티마이저를 통해 GPU 메모리 사용량을 최적화하는 방법을 다룹니다.

fp16, bf16 등 데이터 타입의 특성과 활용 방안도 함께 설명하여 GPU 메모리 효율성을 높이는 데 중점을 둡니다.