DIS : AI와 함께하는 빅데이터 검색 혁신과, 데이터 스케일 이슈 해소

본 글은 데이터 사일로 현상으로 인한 데이터 활용의 어려움을 해결하기 위해 전사 데이터 카탈로그 시스템인 DIS(Data Information System)를 구축하는 과정에서 겪었던 기술적 도전과 해결 방안을 공유합니다. DIS는 분산된 데이터를 한 곳에서 쉽게 검색하고 이해할 수 있도록 지원하며, 메타데이터 파이프라인, Neo4j(GraphDB), Elastic Search 기반 검색 엔진, 그리고 AI를 활용한 지식 생성 및 개인정보 탐지 기능 등을 포함합니다.

특히, 대규모 데이터 처리와 AI를 통한 지식 생성이 핵심 기술로 다루어지며, 이를 통해 데이터 사일로 문제를 해소하고 데이터 활용성을 높이는 방안을 제시합니다.