읽씹할 결심 - 생성 모델에게 답변 시간 가르치기

이 글은 루다와 다온과 같은 생성 모델이 즉각적인 답변을 제공하는 대신, 사용자의 경험을 향상시키기 위해 지연 답변 기능을 구현한 과정을 다룹니다. 기존에는 사용자가 언제든 연락해도 즉시 응답하도록 설계되었으나, 이는 때때로 비인간적이거나 부자연스러운 느낌을 줄 수 있었습니다.

이를 개선하기 위해, 모델이 마치 사람처럼 '읽씹'하는 것처럼 보이게 하거나, 특정 상황에서는 답변을 지연시키는 기능을 도입했습니다. 이 과정에서 RAG(Retrieval-Augmented Generation)와 프롬프트 엔지니어링 기법을 활용하여 모델이 적절한 시점에 답변하도록 제어하는 방법을 탐구합니다.

궁극적으로는 생성 모델의 응답 방식을 조절하여 더욱 자연스럽고 인간적인 상호작용을 구현하는 것을 목표로 합니다.