DAN (Deep Average Networks) : 대화형 봇에 대한 토픽 기반 평가

대화 평가는 어려운 문제입니다. 특히 대화를 성공으로 잘 정의 할 수 없는 작업 중심의 대화 상자가 아닌 경우에 특히 그렇습니다. 우리는 대화형 봇이 주제에 대해 일관되고 매력적인 대화를 유지할 수 있는 능력과 봇이 처리 할 수 있는 주제의 다양성을 설명하는 토픽 기반 메트릭을 사용하여 대화 품질을 평가할 것을 제안합니다. 발화마다 대화 주제를 탐지하기 위해 DAN (Deep Average Networks)을 채택하고 여러 주제로 분류된 다양한 질문 및 쿼리 데이터에 대해 토픽 분류기를 학습합니다. 우리는 시스템이 토픽 키워드를 발화 내에서 함께 포착하고 토픽 분류를 수행 할 수 있도록 topic-word attention 테이블을 추가함으로써 DAN에 대한 새로운 확장을 제안합니다. 제안된 토픽 기반 메트릭과 사용자가 제공한 등급을 비교하여 우리의 메트릭이 사람의 판단과 상호 연관되고 보완됨을 보여줍니다. 우리의 분석은 Alexa Prize 경연 대회에서 수만개의 실제 인간 – 로봇 대화 상자에서 수행되며 대화형 로봇에 대한 사용자의 기대치를 강조합니다.

 

 

Tags:

DAN

토픽모델링

챗봇