Lustre 파일시스템과 GPUDirect Storage 소개

본문은 고성능 컴퓨팅(HPC) 클러스터 환경에서 사용되는 Lustre 파일시스템과 GPUDirect Storage(GDS)에 대해 소개합니다. HPC 클러스터는 대규모 데이터 처리를 위해 고도의 컴퓨팅 성능과 병렬 스토리지를 요구합니다.

분산 파일시스템과 달리 병렬 파일시스템은 파일을 분할하여 여러 스토리지 노드에 저장하며, Lustre는 이러한 병렬 파일시스템의 한 종류로 HPC 환경에 최적화된 고성능 병렬 파일시스템입니다. Lustre는 GNU GPL 라이선스로 공개되어 있으며, 리눅스 기반 운영체제에서 클라이언트-서버 아키텍처로 작동합니다.

GDS는 GPU가 스토리지에 직접 접근하여 데이터 전송 병목 현상을 줄이는 기술로, HPC 환경의 성능 향상에 기여할 것으로 기대됩니다.