DIS : AI와 함께하는 빅데이터 검색 혁신과, 데이터 스케일 이슈 해소

본 글은 데이터 사일로 문제를 해결하기 위한 전사 데이터 카탈로그 구축 과정에서 겪었던 기술적 어려움과 해결 방안을 다룹니다. 삼성전자의 경우, 수많은 서비스의 데이터가 분산되어 있어 원하는 데이터를 찾고 이해하는 데 많은 시간과 노력이 소요됩니다.

이를 해결하기 위해 DIS(Data Information System)는 전사 모든 데이터의 메타 정보를 수집하여 Neo4j(GraphDB)에 저장하고 Elastic Search 기반 검색 엔진에 인덱싱합니다. 또한, AI를 활용하여 데이터 지식을 풍부하게 하고, 사용자의 활동 이력을 수집하여 지식을 확장합니다.

대규모 시스템 운영을 위해 Bigquery에 메타데이터 통계를 수집하고 활용하며, 지속적인 데이터 증가에 대응 가능한 확장성 높은 파이프라인 구축과 AI를 활용한 대규모 지식 생성이 핵심 기술 과제임을 강조합니다.