Data Loader, Better, Faster, Stronger

이 글은 대규모 Parquet 데이터셋을 위한 PyTorch DataLoader 튜닝 경험을 공유합니다. 딥러닝 개발 시 마주하는 데이터 로더 구성의 어려움과 다양한 데이터 형식 및 크기에 따른 접근 방식의 차이를 설명합니다.

특히 15억 건의 쇼핑 데이터를 예시로 들며, 대용량 데이터 로더의 조건과 다른 서비스들의 구현 사례를 살펴봅니다. 이를 바탕으로 효율적인 데이터 로더를 만들기 위한 방법을 제시하며, TensorFlow의 tfrecord 사용이나 작은 데이터셋의 메모리 업로드 방식 등 기존 접근법과 비교하여 PyTorch 환경에서의 최적화 방안을 모색합니다.