스토리지 기초 지식 4편: 중복 제거

이 글은 스토리지의 효율성을 높이기 위한 데이터 중복 제거(data deduplication) 기술에 대해 설명합니다. 뇌가 정보를 최적화하여 저장하는 것처럼, 스토리지도 중복되는 데이터를 제거하여 저장 공간과 전송 속도를 절약할 수 있습니다.

중복 제거는 데이터를 블록 또는 청크 단위로 나누고 각 블록에 고유 해시값을 부여하여 중복을 식별합니다. 해시 충돌 가능성은 매우 낮아 데이터 손상 위험은 거의 없다고 설명합니다.

또한, 중복 제거는 저장 공간 확보를 통한 비용 절감 효과가 크며, 인프라 형태와 규모, 워크로드에 따라 클라이언트 측(소스) 또는 대상 측(타겟)에서 진행하는 방식을 선택하거나 혼합하여 사용할 수 있다고 제안합니다.