Retrieval Augmented Generation - 2020年12月

Data-Efficient Methods for Dialogue Systems

发布时间：2020-12-05

作者：Igor Shalyminov

中文摘要：

会话用户界面（CUI）在日常生活中的应用已经无处不在，无论是以Siri和Alexa为代表的消费类产品，还是以企业解决方案为导向的应用。深度学习是近年来对话系统取得突破的关键技术，但其需要非常大量的训练数据，这些数据通常由专家进行标注。使用较少数据训练的方法最终会严重缺乏鲁棒性（例如对不流畅性和域外输入的适应性），并且通常泛化能力不足。在本论文中，我们通过引入一系列从最小数据量训练鲁棒对话系统的方法来解决上述问题。首先，我们从数据效率的角度研究了两种正交的对话方法：基于语言信息和基于机器学习。我们概述了采用这两种方法获得数据高效解决方案的步骤。然后，我们引入了两种数据高效的对话响应生成模型：基于潜在变量对话表示的对话知识迁移网络，以及混合生成-检索Transformer模型（在DSTC 8快速域适应任务中排名第一）。接下来，我们针对最小数据量下的鲁棒性问题进行了研究。因此，我们提出了一种基于多任务LSTM的域通用不流畅性检测模型。对于域外输入的问题，我们提出了Turn Dropout，这是一种仅使用域内数据进行异常检测的数据增强技术，并引入了自动编码器增强模型以实现Turn Dropout的效率训练。最后，我们专注于社交对话，并介绍了一种用于Alana的神经模型，Alana是2017年和2018年亚马逊Alexa奖的第三名获奖者。我们采用了一种预测对话长度作为主要排名目标的新技术，并表明这种方法在数据效率方面优于基于评分的方法，同时在性能上与之匹配。

一句话总结：

本论文提出了一系列基于最小数据量训练鲁棒对话系统的方法，包括数据高效的对话模型和针对不流畅性和域外输入的鲁棒性增强技术。

---