Retrieval Augmented Generation - 2021年10月
Contextual Similarity Aggregation with Self-attention for Visual Re-ranking
发布时间：2021-10-26
作者：Jianbo Ouyang, Hui Wu, Min Wang, Wengang Zhou, Houqiang Li
中文摘要：
在基于内容的图像检索中，通过简单的视觉特征比较得到的初次检索结果可能不尽人意，这可以通过视觉重排序技术进行优化。在图像检索中，观察到顶级排名图像之间的上下文相似性是区分语义相关性的重要线索。受此启发，本文提出了一种基于自注意力机制的上下文相似性聚合视觉重排序方法。在我们的方法中，对于排名前K的每张图像，我们通过将其与一组锚图像进行比较，将其表示为一个亲和特征向量。然后，通过使用Transformer编码器聚合上下文信息来细化排名前K图像的亲和特征。最后，使用亲和特征重新计算查询与排名前K图像之间的相似度分数，以对后者进行重排序。为了进一步提高重排序模型的鲁棒性并提升方法性能，我们设计了一种新的数据增强方案。由于我们的重排序模型不直接涉及初始检索中使用的视觉特征，因此它可以应用于从各种检索算法获得的检索结果列表。我们在四个基准数据集上进行了全面的实验，以证明我们提出的视觉重排序方法的通用性和有效性。
一句话总结：
本文提出了一种基于上下文相似性和自注意力的视觉重排序方法，通过聚合上下文信息和Transformer编码器来优化图像检索结果。
Controllable Semantic Parsing via Retrieval Augmentation
发布时间：2021-10-16
作者：Panupong Pasupat, Yuan Zhang, Kelvin Guu
中文摘要：
在语义解析的实际应用中，我们经常希望快速改变解析器的行为，例如使其能够处理新领域的查询，或者改变其对某些特定查询的预测。虽然我们可以引入展示目标行为的新的训练示例，但一个无需昂贵模型重新训练即可实施此类行为变化的机制将更为理想。为此，我们提出了通过范例检索的可控语义解析器（CASPER）。给定一个输入查询，解析器从检索索引中检索相关范例，将它们增强到查询中，然后应用一个生成式seq2seq模型来生成输出解析。范例作为通用生成模型的控制机制：通过操纵检索索引或增强查询的构建方式，我们可以操纵解析器的行为。在MTOP数据集上，除了在标准设置上实现最先进的性能外，我们还表明CASPER可以解析新领域的查询，将预测调整为指定的模式，或者适应新的语义模式，而无需进一步重新训练模型。
一句话总结：
CASPER通过范例检索和增强，实现了一种无需重新训练即可改变语义解析器行为的机制。
Open Domain Question Answering with A Unified Knowledge Interface
发布时间：2021-10-16
作者：Kaixin Ma, Hao Cheng, Xiaodong Liu, Eric Nyberg, Jianfeng Gao
中文摘要：
检索-阅读框架因其能够利用显式知识而在开放域问答（ODQA）中受到欢迎。尽管先前的研究试图通过结合文本之外的结构化知识来增加知识覆盖范围，但通过统一接口访问异构知识源仍然是一个未解决的问题。虽然数据到文本生成有潜力作为数据和文本的通用接口，但其对下游任务的可行性仍然知之甚少。在这项工作中，我们填补了这一空白，并使用数据到文本方法作为ODQA中编码结构化知识的手段。具体来说，我们提出了一种用于数据与文本的ODQA的言语化-检索-阅读框架，其中使用来自维基百科的言语化表格和来自维基数据的图作为增强知识源。我们表明，我们的统一数据与文本问答（UDT-QA）能够有效地从扩展的知识索引中受益，从而在仅文本的基线之上实现大幅提升。值得注意的是，我们的方法在自然问题（Natural Questions）上达到了单模型的最先进水平。此外，我们的分析表明，在适应和热插拔设置中，言语化知识都更受青睐用于答案推理。
一句话总结：
本研究提出了一种基于数据到文本方法的结构化知识编码框架，显著提升了开放域问答系统的性能。
Retrieval-guided Counterfactual Generation for QA
发布时间：2021-10-14
作者：Bhargavi Paranjape, Matthew Lamm, Ian Tenney
中文摘要：
深度自然语言处理（NLP）模型已被证明会学习到虚假的相关性，这使得它们对输入扰动非常敏感。最近的研究表明，反事实或对比数据（即最小扰动输入）可以揭示这些弱点，并且使用反事实进行数据增强可以帮助改善这些弱点。生成反事实的技术依赖于人工标注、基于简单启发式的扰动以及意义表示框架。我们专注于创建问答中的反事实，这涉及到与世界知识、语义多样性和可回答性相关的独特挑战。为了解决这些挑战，我们开发了一种检索-生成-过滤（Retrieve-Generate-Filter, RGF）技术，以最小的人工监督创建反事实评估和训练数据。使用一个开放域问答（QA）框架和训练在原始任务数据上的问题生成模型，我们创建了流畅、语义多样且自动标注的反事实。使用RGF反事实进行数据增强，在阅读理解和开放域问答设置中，在域外和具有挑战性的评估集上，比现有方法提高了性能。此外，我们发现RGF数据导致模型对局部扰动的鲁棒性显著提高。
一句话总结：
本研究提出了一种基于RGF技术的反事实生成方法，用于问答任务，有效提高了模型对输入扰动的鲁棒性。
Salient Phrase Aware Dense Retrieval: Can a Dense Retriever Imitate a Sparse One?
发布时间：2021-10-13
作者：Xilun Chen, Kushal Lakhotia, Barlas Oğuz, Anchit Gupta, Patrick Lewis, Stan Peshterliev, Yashar Mehdad, Sonal Gupta, Wen-tau Yih
中文摘要：
尽管密集检索器近年来备受关注且具有明显的优势，但在可靠匹配查询中的显著短语和罕见实体以及泛化到领域外数据的能力方面，它们仍然落后于BM25等稀疏方法。有人认为这是密集模型固有的局限性。我们通过引入显著短语感知检索器（SPAR），一种具有稀疏模型词汇匹配能力的密集检索器来反驳这一说法。我们表明，密集词汇模型（(\Lambda)）可以被训练来模仿稀疏模型，SPAR是通过增强标准密集检索器与(\Lambda)来构建的。在实证研究中，SPAR在各种任务上表现出优异的性能，包括五个问答数据集、MS MARCO段落检索，以及用于领域外评估的EntityQuestions和BEIR基准，其性能超过了最先进的密集和稀疏检索器。SPAR的代码和模型可在以下网址获取：https://github.com/facebookresearch/dpr-scale/tree/main/spar
一句话总结：
SPAR通过引入密集词汇模型(\Lambda)，显著提升了密集检索器在匹配查询中的显著短语和罕见实体以及泛化到领域外数据方面的性能。