Retrieval Augmented Generation - 2021年09月
Simple Entity-Centric Questions Challenge Dense Retrievers
发布时间：2021-09-17
作者：Christopher Sciavolino, Zexuan Zhong, Jinhyuk Lee, Danqi Chen
中文摘要：
开放域问答因密集检索模型的成功而近年来受到广泛关注，这些模型仅使用少量监督训练样本就超越了稀疏模型。然而，在这篇论文中，我们证明当前的密集模型尚未成为检索的圣杯。我们首先构建了EntityQuestions，这是一个基于维基数据事实的简单、实体丰富的问答集（例如，“Arve Furset出生在哪里？”），并观察到密集检索器在性能上远低于稀疏方法。我们调查了这个问题，并发现密集检索器只能泛化到常见实体，除非在训练期间显式地观察到问题模式。我们讨论了两种简单的解决方案来解决这个问题。首先，我们证明数据增强无法修复泛化问题。其次，我们认为更鲁棒的段落编码器有助于通过使用专门的问答编码器来促进更好的问题适应。我们希望我们的工作能够揭示创建一个在不同输入分布上都能良好工作的鲁棒、通用密集检索器的挑战。
一句话总结：
本文揭示了当前密集检索模型在开放域问答中的局限性，并提出了通过改进数据增强和段落编码器来提升其泛化能力的解决方案。
End-to-End Learning of Flowchart Grounded Task-Oriented Dialogs
发布时间：2021-09-15
作者：Dinesh Raghu, Shantanu Agarwal, Sachindra Joshi, Mausam
中文摘要：
我们提出了一个在面向任务的对话（TOD）端到端学习中的新问题，其中对话系统模仿一个故障排除代理，通过诊断用户的问题（例如，汽车无法启动）来帮助用户。这样的对话基于特定领域的流程图，代理在对话过程中应遵循这些流程图。我们的任务为神经TOD提出了新的技术挑战，例如，在不进行显式标注的情况下将话语与流程图关联起来，当用户提出澄清问题时引用额外的手册页面，以及在测试时能够遵循未见过的流程图。我们发布了一个数据集（FloDial），其中包含基于12个不同故障排除流程图的2,738个对话。我们还设计了一个神经模型，FloNet，它使用检索增强生成架构来训练对话代理。我们的实验发现，FloNet可以对未见过的流程图进行零样本迁移，并为未来的研究设定了强大的基线。
一句话总结：
本文提出了一种基于流程图的故障排除对话系统，通过零样本迁移能力为面向任务的对话学习提供了新的基准。
Stylistic Retrieval-based Dialogue System with Unparallel Training Data
发布时间：2021-09-12
作者：Hao Fu, Yan Wang, Ruihua Song, Tianran Hu, Jianyun Nie
中文摘要：
对话系统能够在对话中表达一致的语言风格对其可用性和用户满意度有直接且积极的影响。尽管先前的研究表明，在大量平行数据的情况下，风格迁移是可行的，但通常难以收集不同风格的数据。在本文中，我们提出了一种灵活的框架，该框架通过适应通用的基于检索的对话系统来模仿指定角色的语言风格，而无需任何平行数据。我们的方法基于通过学习术语的使用来自动生成风格化数据，然后通过融入术语将通用对话重写为风格化对话。在实验中，我们实现了具有五种不同语言风格的对话系统，结果表明，我们的框架在响应的相关性、风格程度和内容多样性方面显著优于基线。在商业聊天机器人上的A/B测试表明，用户对我们的系统更加满意。这项研究证明了通过简单的数据增强构建风格化对话系统的可行性。
一句话总结：
本研究通过简单的数据增强方法，展示了构建风格化对话系统的可行性，显著提升了对话系统的相关性和用户满意度。
Memory and Knowledge Augmented Language Models for Inferring Salience in Long-Form Stories
发布时间：2021-09-08
作者：David Wilmot, Frank Keller
中文摘要：
在理解故事的过程中，衡量事件的重要性至关重要。本文采用了一种基于巴特斯（Barthes）的卡迪纳尔功能（Cardinal Functions）和惊喜理论的近期无监督显著性检测方法，并将其应用于较长的叙事形式。我们通过引入外部知识库（源自检索增强生成）并添加记忆机制来增强对较长作品的性能，从而改进了标准的变压器语言模型。我们使用了一种新颖的方法，通过从Shmoop语料库中经典文学作品的章节对齐摘要来推导显著性标注。我们对这些数据的评估表明，我们的显著性检测模型在非知识库和记忆增强语言模型的基础上提高了性能，这两者对于这一改进都是至关重要的。
一句话总结：
本文提出了一种基于外部知识库和记忆机制的显著性检测模型，显著提高了对较长叙事作品的性能。