코딩 에이전트를 활용한 취약점 수집·생성 자동화로 가드레일 모델 고도화

LLM 기반 서비스 확산에 따라 프롬프트 인젝션, 탈옥 등 공격 시도가 증가하고 있으며, 이를 탐지하고 대응하기 위한 가드레일 모델의 중요성이 커지고 있습니다. 본 글은 LLM 가드레일 모델의 운영 환경 고도화 과정과 자동화된 취약점 탐색 환경 구축 경험을 공유합니다.

초기 가드레일 모델은 벤치마크 성능은 우수했으나 실제 운영 환경에서는 정상 요청을 공격으로 오탐하는 문제가 발생했습니다. 이를 해결하기 위해 코딩 에이전트를 활용하여 다양한 취약점 데이터를 자동으로 수집하고 생성하는 파이프라인을 설계했습니다.

이 과정을 통해 가드레일 모델의 탐지 성능을 향상시키고 오탐률을 줄여 LLM 서비스의 안전성을 강화하는 방안을 모색합니다.