글루시스

RSS

게시글: 51
등록: 2026년부터

All Frontend Backend AI DevOps Architecture Etc

Backend
Lustre의 파일 create & open 과정 분석 - 2
이 글은 Lustre 파일 시스템의 파일 create 및 open 과정을 분석하는 두 번째 글로, 클라이언트 요청이 MDS(Metadata Server)에서 처리되는 상세 과정과 클라이언트의 후속 처리 과정을 다룹니다. 첫 번째 글에서 이어져, 클라이언트의 MDC(Metadata Client)가 보낸 open 요청을 MDS가 받아 `mdt_reint_open` 함수를 통해 처리하는 과정을 설명합니다. 이 과정에서 `mdt_object_find` 함수를 사용하여 파일의 `lu_object` 존재 여부를 확인하고, 파일이 없을 경우 `mdt_object_new` 함수를 통해 새로 생성하는 로직을 분석합니다. Lustre의 내부 동작 원리를 이해하는 데 도움을 주는 기술적인 분석 내용을 제공합니다.
LustreMDS파일 시스템
글루시스·2025년 9월 1일
Backend
pNFS 소개
AI 서비스의 성능은 AI 모델의 정교함에 달려 있으며, 이는 학습 데이터셋의 양과 처리 속도에 영향을 받습니다. 고성능 스토리지는 AI 학습에 필수적이지만, 기존 NFS는 단일 서버 구성으로 인해 병목 현상이 발생하기 쉽습니다. 병렬 파일 시스템은 이러한 문제를 해결하지만, 설치 및 유지보수 비용이 높다는 단점이 있습니다. pNFS는 NFSv4.1부터 도입된 병렬 파일 시스템 구조로, 클라이언트가 메타데이터 서버와 데이터 서버에 직접 병렬로 접근하여 스토리지 병목을 해결합니다. 별도의 하드웨어, 소프트웨어, 라이선스 없이 리눅스 환경에서 네이티브로 지원되어 효율적인 데이터 처리가 가능합니다.
pNFSNFS스토리지
글루시스·2024년 6월 10일
Backend
ZFS 파일 시스템
이 기술 블로그 포스트는 ZFS 파일 시스템에 대해 소개합니다. 2001년 썬 마이크로시스템즈에서 개발을 시작한 ZFS는 안정성, 성능, 데이터 보호 기능을 강화한 파일 스토리지입니다. 128비트 파일 시스템으로 이론상 최대 256,000조 제타바이트까지 지원하며, 가변 블록 크기를 통해 압축 효율을 높일 수 있습니다. ZFS의 가장 큰 특징은 파일 시스템과 볼륨 매니저 기능을 통합하여 제공한다는 점입니다. 이를 통해 LVM과 같은 별도의 볼륨 매니저 없이도 다수의 물리적 스토리지를 관리하고 RAID와 같은 데이터 보호 기능을 구현할 수 있습니다. 또한, ARC와 L2ARC라는 계층형 캐싱 메커니즘을 통해 빠른 입출력을 지원하며, SSD와 같은 고속 스토리지 미디어를 활용하여 성능을 최적화합니다.
ZFS파일 시스템스토리지
글루시스·2023년 12월 20일
Backend
NVMe 시대의 RAID 2편: xiRAID
이 글은 NVMe SSD 환경에서 RAID 구성 시 발생하는 문제점을 해결하기 위한 소프트웨어 RAID 솔루션인 xiRAID를 소개합니다. xiRAID는 Xinnor 사에서 개발했으며, 기존 RAIDIX ERA의 새로운 이름입니다. SPDK를 사용하지 않아 메모리 사용량을 최소화하고 SATA, SAS SSD/HDD도 지원하는 특징이 있습니다. 또한 NVMe-oF로 연결된 원격 장비를 사용한 RAID 구성도 지원하지만, 결과물은 로컬 블록 디바이스 형태로 제공됩니다. GRAID SupremeRAID 및 하이엔드 하드웨어 RAID와 비교했을 때, xiRAID는 특히 4k 무작위 읽기/쓰기 및 512k 순차 읽기/쓰기 성능에서 우수한 결과를 보여주며 NVMe 시대에 적합한 고성능 스토리지 솔루션임을 시사합니다.
RAIDNVMeSSD
글루시스·2023년 1월 10일
Backend
NVMe 오버 패브릭(NVMe-oF)이란?
본 글은 기존 SATA/SAS 인터페이스의 한계를 극복하고 SSD의 성능을 최대한 활용하기 위해 등장한 NVMe 프로토콜과 이를 네트워크 환경으로 확장한 NVMe-oF(NVMe over Fabrics)에 대해 설명합니다. NVMe는 SSD의 빠른 속도를 제대로 활용하지 못했던 기존 인터페이스의 문제점을 해결하며, 특히 기업용 SSD 시장에서 빠르게 점유율을 높여왔습니다. 하지만 초기 NVMe는 스토리지 미디어를 직접 연결하는 방식(DAS)에 한정되어 고속 스토리지를 효율적으로 공유하기 어렵다는 단점이 있었습니다. 이러한 문제를 해결하기 위해 등장한 NVMe-oF는 NVMe 프로토콜을 파이버 채널이나 이더넷과 같은 다양한 네트워크를 통해 원격 NVMe 장치에 접근할 수 있도록 하는 기술입니다. 이를 통해 NVMe의 성능을 네트워크 환경에서도 활용하여 스토리지 공유 및 효율성 증대를 기대할 수 있습니다.
NVMeNVMe-oFSSD
글루시스·2022년 8월 22일
Backend
SPDK에 대해: 개요 및 특징
최신 NVMe 기술의 보편화로 스토리지 소프트웨어 계층의 오버헤드가 주목받고 있습니다. 기존에는 하드웨어 성능이 입출력 성능을 좌우했지만, NVMe SSD와 같이 빠른 스토리지 미디어의 등장으로 커널 스택에서의 지연 시간 비중이 높아졌습니다. 커널 스택 오버헤드는 완료 인터럽트 포화, 잦은 시스템 콜 및 문맥 교환, 동기화 락 발생 등으로 인해 발생합니다. 이러한 문제를 해결하고 고성능 스토리지 애플리케이션 개발을 지원하기 위해 SPDK(Storage Performance Development Kit)가 개발되었습니다. SPDK는 스토리지 드라이버를 유저 스페이스로 가져와 오버헤드를 줄이는 오픈소스 개발 키트로, NVMe SSD의 성능을 극대화하는 데 초점을 맞추고 있습니다. 이는 DPDK와 유사한 접근 방식을 취합니다.
SPDKNVMe스토리지
글루시스·2022년 2월 18일
Backend
메타 객체 프로토콜(Meta Object Protocol)에 대하여
메타 객체 프로토콜(Meta Object Protocol, MOP)은 객체 지향 프로그래밍에서 객체 자체를 참조해야 할 필요성에서 등장한 개념입니다. 일반적인 객체 지향에서 클래스가 객체를 생성하지만, MOP에서는 클래스, 메서드, 속성 모두 메타 클래스에 의해 생성된 객체로 간주합니다. 즉, 클래스 자체가 객체가 되는 것입니다. 본문에서는 Perl의 객체 지향 시스템인 Mouse를 예시로 들어 MOP의 개념을 설명합니다. Mouse에서 'package'는 클래스, 'has'는 속성, 'sub'는 메서드를 나타내며, 이들은 각각 Mouse::Meta::Class, Mouse::Meta::Attribute, Mouse::Meta::Method와 같은 메타 클래스에 의해 관리됩니다. 메타 클래스는 클래스, 속성, 메서드의 구조나 동작을 변경하고, 새로운 클래스를 생성하거나 삭제하는 역할을 수행합니다.
MOPMeta Object Protocol객체 지향 프로그래밍
글루시스·2022년 1월 10일
Backend
소프트웨어 정의 스토리지 2편: 구성과 종류
소프트웨어 정의 스토리지(SDS)의 개념과 특성을 다룬 1편에 이어, 본 글에서는 SDS의 구성과 종류에 대해 상세히 설명합니다. SDS는 표준화된 인터페이스를 통해 이기종 스토리지 하드웨어 자원을 중앙화하여 통합 스토리지 풀을 쉽게 구성할 수 있게 합니다. 이를 통해 대규모 환경 운영 자동화, 하드웨어 선택의 유연성 확보, 라이선스 관리 편의성 증대 등의 이점을 얻을 수 있습니다. SDS는 크게 어플라이언스 형과 소프트웨어 형 두 가지 방식으로 판매되며, 어플라이언스 형은 스토리지 하드웨어와 함께 제공되어 안정성과 성능이 우수하다는 장점이 있습니다. 본 글은 SDS의 기술적 구성과 다양한 형태를 이해하는 데 도움을 줄 것입니다.
SDS소프트웨어 정의 스토리지스토리지
글루시스·2021년 8월 19일
Backend
NVMe 2.0: Zoned Namespace 명령어 집합
NVMe 2.0에 새롭게 도입된 ZNS(Zoned Namespace)는 기존 SSD의 임의 쓰기 방식에서 발생하는 쓰기 증폭 및 가비지 컬렉션 문제를 해결하기 위한 기술입니다. ZNS는 데이터를 Zone이라는 이름 공간으로 추상화하고, 특정 Zone에 유사한 데이터 스트림을 순차 쓰기하는 방식으로 작동합니다. 기존 SSD는 데이터를 삭제할 때 재사용 불가능한 페이지가 발생하고, 이를 관리하기 위한 가비지 컬렉션 과정에서 불필요한 I/O가 발생하여 쓰기 증폭과 수명 단축의 원인이 되었습니다. 반면 ZNS SSD는 Zone 단위의 순차 쓰기를 통해 이러한 문제를 줄이고, 오버 프로비저닝 비율 감소 효과도 기대할 수 있습니다. 이는 SSD의 성능과 수명을 향상시키는 데 기여합니다.
NVMe 2.0ZNSZoned Namespace
글루시스·2021년 7월 16일
Backend
NVMe 2.0: 키-값(Key-Value) 명령어 집합
본 글은 NVMe 2.0에서 새롭게 추가된 키-값(Key-Value) 명령어 집합에 대해 다룹니다. 키-값 데이터베이스는 비정형 데이터를 효율적으로 저장하고 검색하는 방식으로, 최근 비정형 데이터 저장의 중요성이 커지면서 주목받고 있습니다. 기존 블록 저장 장치에서는 키와 LBA 변환을 위한 별도 소프트웨어가 필요했지만, NVMe 2.0에서는 SSD 하드웨어 자체를 키-값 데이터베이스로 활용할 수 있게 되었습니다. 이는 NVMe 2.0의 새로운 기능인 'Namespace Types'를 통해 각 이름 공간을 테이블처럼 사용할 수 있게 된 덕분입니다. 주요 기능으로는 키와 값을 저장하는 'Store' 명령어와 키를 이용해 값을 검색하는 'Retrieve' 명령어가 있으며, 'Store' 명령어는 데이터베이스 트랜잭션처럼 원자성을 보장합니다.
NVMe 2.0Key-Value Command SetSSD
글루시스·2021년 7월 16일
Backend
소프트웨어 정의 스토리지 1편: 개요
이 글은 소프트웨어 정의 스토리지(SDS)의 개념과 등장 배경을 설명하는 개요입니다. 데이터 폭증과 레거시 시스템 노후화로 인한 디지털 트랜스포메이션 시대에, 기존 스토리지의 성능, 확장성, 관리 오버헤드 문제를 해결하기 위해 SDS가 주목받고 있습니다. SDS는 스토리지 하드웨어에 구애받지 않고 스토리지 자원과 기능들을 논리적으로 통합 관리하는 소프트웨어를 의미하며, SNIA는 이를 '서비스 관리 인터페이스를 가진 가상 스토리지'로 정의합니다. 범용 서버에 구축 가능하며 통합 관리가 용이하다는 장점이 있지만, 마케팅 용어에 가깝고 기존 가상화 기술과 혼동될 여지도 있습니다.
소프트웨어 정의 스토리지SDS데이터센터
글루시스·2021년 6월 25일
Backend
스토리지 기초 지식 9편: 오브젝트 스토리지란
본 글은 인터넷 트래픽의 80%를 차지할 것으로 예상되는 비정형 데이터의 증가 추세에 따라 부상하고 있는 오브젝트 스토리지에 대해 설명합니다. 오브젝트 스토리지는 데이터를 고유 식별번호(UUID)와 풍부한 메타데이터를 포함하는 '오브젝트' 단위로 관리하며, 이는 기존의 블록 스토리지나 파일 스토리지와는 다른 평면적인 저장 방식을 사용합니다. 블록 스토리지가 데이터를 고정된 크기의 블록으로 나누어 관리하고, 파일 스토리지(파일 시스템)가 계층적 구조로 파일을 관리하는 것과 달리, 오브젝트 스토리지는 각 오브젝트에 부여된 고유 식별자를 통해 분산된 데이터에 대한 빠르고 효율적인 검색을 가능하게 합니다. 이러한 특징 덕분에 대규모 비정형 데이터를 저장하고 관리하는 데 오브젝트 스토리지가 중요한 역할을 하게 됩니다.
오브젝트 스토리지비정형 데이터스토리지 아키텍처
글루시스·2021년 4월 20일
Backend
owncloud 란 무엇인가?
ownCloud는 개인 서버에 설치하여 사용할 수 있는 오픈소스 파일 호스팅 서비스입니다. NAS와 유사한 기능을 제공하며, 2010년 KDE 개발자가 상용 클라우드 스토리지의 대안으로 개발했습니다. ownCloud는 파일 스토리지 형식을 사용하며, 사용자에게 파일 접근, 보안, 제어 및 통합 기능을 제공합니다. PHP와 SQLite, MySQL, PostgreSQL 데이터베이스를 지원하여 다양한 시스템에 설치 가능합니다. WebDAV 기반으로 운영체제에 독립적이며, 웹 인터페이스, 네이티브 프로그램 연동, 모바일 앱 등을 통해 파일 관리가 용이합니다. 또한 사용자/그룹 관리, 저장소 할당, 공유 링크, 데이터 암호화, 외부 저장소 연결 등 다양한 특징을 제공합니다.
ownCloudNAS파일 호스팅
글루시스·2021년 3월 22일
Backend
플래시 메모리와 NVMe
이 글은 SSD의 빠른 속도를 이해하기 위해 핵심 구성 요소인 플래시 메모리와 SSD 전용 프로토콜인 NVMe에 대해 설명합니다. 플래시 메모리는 전원이 꺼져도 데이터가 유지되는 비휘발성 반도체 저장 장치로, 플로팅 게이트에 전자를 저장하여 0 또는 1로 데이터를 표현합니다. 산화막을 통해 전자를 주입하여 데이터를 저장하며, 전원이 공급되지 않아도 전자가 남아있게 됩니다. 플래시 메모리는 셀(Cell)에 데이터를 저장하며, SLC(Single Level Cell)는 하나의 셀에 하나의 비트만 저장하여 가장 빠른 속도와 긴 수명을 제공합니다. 글은 SSD의 작동 원리를 이해하는 데 필요한 기본적인 저장 장치 기술을 다룹니다.
플래시 메모리NVMeSSD
글루시스·2021년 3월 2일
Backend
스토리지 기초 지식 2편: 스토리지 프로토콜
이 글은 스토리지 데이터를 공유하는 데 사용되는 주요 프로토콜인 파이버 채널(Fibre Channel, FC)과 FCoE에 대해 설명합니다. 파이버 채널은 높은 전송 속도와 안정성을 제공하며, HBA 카드와 파이버 채널 스위치를 통해 SAN 환경을 구성합니다. NVMe 프로토콜도 동일한 하드웨어를 사용하며, 프레임 단위의 하드웨어 처리로 CPU 오버헤드를 줄이고 무결성을 보장합니다. FCoE는 이더넷 네트워크상에서 파이버 채널 프레임을 전송하여 하드웨어 복잡성을 줄이려는 시도였으나, 이더넷의 발전과 스토리지 업계의 보수적인 태도로 인해 현재는 널리 사용되지 않고 있습니다. 전반적으로 스토리지 프로토콜의 기본 개념과 특징을 이해하는 데 도움을 주는 내용을 담고 있습니다.
스토리지파이버 채널Fibre Channel
글루시스·2019년 12월 16일