Retrieval Augmented Generation - 2022年03月
Achieving Conversational Goals with Unsupervised Post-hoc Knowledge Injection
发布时间：2022-03-22
作者：Bodhisattwa Prasad Majumder, Harsh Jhamtani, Taylor Berg-Kirkpatrick, Julian McAuley
中文摘要：
当前神经对话模型的一个局限性是，它们生成的响应往往缺乏特异性和信息量，这主要是由于依赖于覆盖有限场景和传递有限知识的训练数据。缓解这一问题的方法之一是在解码时从外部来源提取相关知识并将其纳入对话响应中。在本文中，我们提出了一种事后知识注入技术，我们首先根据对话历史和现有对话模型的一个初始响应检索一组多样化的相关知识片段。我们构建多个候选响应，使用基于梯度的解码方法将每个检索到的片段单独注入初始响应中，然后通过无监督的排名步骤选择最终响应。我们在目标导向和基于知识的对话设置中的实验表明，与先前对话系统的响应相比，人工标注者认为该方法生成的输出更具吸引力和信息量。我们进一步表明，知识增强在实验设置中促进了实现对话目标的成功。
一句话总结：
本文提出了一种事后知识注入技术，通过从外部知识库中检索信息来增强神经对话模型，从而提高对话的特异性和信息量。
RACE: Retrieval-Augmented Commit Message Generation
发布时间：2022-03-05
作者：Ensheng Shi, Yanlin Wang, Wei Tao, Lun Du, Hongyu Zhang, Shi Han, Dongmei Zhang, Hongbin Sun
中文摘要：
提交信息对于软件开发和维护至关重要。许多基于神经网络的自动提交信息生成方法已被提出，并显示出有希望的结果。然而，生成的提交信息可能会重复或冗余。在本文中，我们提出了RACE，一种新的基于检索增强的神经网络提交信息生成方法，它将检索到的相似提交视为一个示例，并利用它来生成准确的提交信息。由于检索到的提交信息可能并不总是能准确描述当前代码差异的内容/意图，我们还提出了一种示例引导器，它学习检索到的和当前代码差异之间的语义相似性，然后根据相似性引导提交信息的生成。我们在一个包含五种编程语言的大型公共数据集上进行了广泛的实验。实验结果表明，RACE能够优于所有基线。此外，RACE还能提升现有Seq2Seq模型在提交信息生成方面的性能。
一句话总结：
RACE通过检索增强和语义相似性引导，显著提升了基于神经网络的提交信息生成效果。