Know Comment API - 차별 및 혐오 표현 탐지 솔루션

빅웨이브에이아이는 2020 인공지능 온라인 경진대회에서 선정된 사업화 주제인 '인공지능 기반 차별 및 혐오 탐지 시스템 개발'에 대해 소개합니다. 이 시스템은 인터넷 뉴스 댓글을 포함한 다양한 온라인 공간의 차별 및 혐오 표현을 탐지하는 것을 목표로 합니다.

사업화 단계에서 약 50만 건 이상의 인터넷 뉴스 댓글 데이터를 구축했으며, 욕설, 비난, 인종/성/종교/외모/연령/출신/정치 차별 등 10가지 클래스로 분류했습니다. 데이터의 클래스 편향 문제를 해결하기 위해 수집된 데이터에서 분류 작업을 수행했으며, 데이터 전처리 전문 인력 5명이 참여하여 객관성을 확보했습니다.

구축된 데이터베이스는 AWS DynamoDB에 저장되었으며, 데이터 파이프라인 및 API 시스템에 대한 자세한 내용은 추후 공유될 예정입니다.