Retrieval Augmented Generation - 2021年06月
Fine-tune the Entire RAG Architecture (including DPR retriever) for Question-Answering
发布时间：2021-06-22
作者：Shamane Siriwardhana, Rivindu Weerasekera, Elliott Wen, Suranga Nanayakkara
中文摘要：
本文展示了如何以端到端的方式微调整个检索增强生成（RAG）架构。我们强调了实现这一目标所需解决的主要工程挑战。我们还比较了端到端RAG架构在问答任务上如何优于原始RAG架构。我们已在HuggingFace Transformers库中开源了我们的实现。
一句话总结：
本文提出了一种端到端微调RAG架构的方法，并展示了其在问答任务上的优越性。
Domain-Smoothing Network for Zero-Shot Sketch-Based Image Retrieval
发布时间：2021-06-22
作者：Zhipeng Wang, Hao Wang, Jiexi Yan, Aming Wu, Cheng Deng
中文摘要：
零样本草图基于图像检索（ZS-SBIR）是一种新颖的跨模态检索任务，其中使用抽象草图作为查询在零样本场景下检索自然图像。大多数现有方法将ZS-SBIR视为一个传统的分类问题，并采用交叉熵或三元组损失来实现检索，这忽略了草图与自然图像之间的领域差距以及草图内部类别的大多样性问题。针对这一问题，我们提出了一种新的领域平滑网络（DSN）用于ZS-SBIR。具体来说，提出了一种跨模态对比学习方法来学习泛化表示，通过挖掘与额外增强样本的关系来平滑领域差距。此外，还探索了一个具有草图特征的类别特定记忆库，以减少草图领域的内部类别多样性。大量的实验表明，我们的方法在Sketchy和TU-Berlin数据集上均显著优于现有方法。我们的源代码在https://github.com/haowang1992/DSN上公开可用。
一句话总结：
提出了一种基于领域平滑网络的零样本草图基于图像检索方法，有效缓解了草图与自然图像之间的领域差距和草图内部类别多样性问题。
Phase retrieval from 4-dimensional electron diffraction datasets
发布时间：2021-06-15
作者：Thomas Friedrich, Chu-Ping Yu, Johan Verbeek, Timothy Pennycook, Sandra Van Aert
中文摘要：
本文提出了一种用于大规模电子显微镜数据的计算成像模式，该模式利用深度学习方法从噪声/稀疏强度记录中检索出复杂波，然后从卷积神经网络（CNN）预测的出射波中重建样品图像。我们证明了适当的前向模型与开放数据框架的结合可以用于生成用于训练的大型合成数据集。通过将泊松噪声与不同的剂量值相对应的数据进行增强，我们有效地消除了过拟合问题。CNN的基于U-NET的架构被调整以适应手头的任务，同时保持相对较小的尺寸和快速的性能。通过将重建结果与使用模拟和真实电子显微镜数据进行的方法进行比较，验证了该方法的可行性。该方法在低剂量范围内表现出有效性，通过强噪声抑制、良好的空间分辨率和对不同原子类型的敏感性，实现了轻元素和重元素的同步可视化，并使不同的原子种类可区分。由于该方法在非常局部的尺度上操作且相对快速，它具有在数据采集期间进行近实时重建的潜力。
一句话总结：
本文提出了一种基于深度学习的电子显微镜数据计算成像方法，通过有效抑制噪声和提升空间分辨率，实现了对低剂量电子显微镜数据的近实时重建。
Color2Embed: Fast Exemplar-Based Image Colorization using Color Embeddings
发布时间：2021-06-15
作者：Hengyuan Zhao, Wenhao Wu, Yihao Liu, Dongliang He
中文摘要：
本文提出了一种名为Color2Embed的快速基于示例的图像着色方法。由于获取输入和真实图像对困难，使用无监督和无配对训练方式训练基于示例的着色模型较为困难。现有算法通常努力实现两个过程：一是检索大量高相似度的参考图像以准备训练数据集，这不可避免地既耗时又繁琐；二是设计复杂的模块将参考图像的颜色转移到目标图像，通过计算和利用它们之间的深度语义对应关系（例如，非局部操作），这在测试期间计算成本较高。与先前的方法不同，我们采用了一种自增强自参考学习方案，其中参考图像是通过从原始彩色图像进行图形变换生成的，从而可以将训练以配对方式表述。其次，为了减少处理时间，我们的方法明确提取颜色嵌入并利用渐进式风格特征转换网络，将颜色嵌入注入到最终图像的重建中。这种设计更加轻量级且易于理解，以快速处理速度实现了令人满意的表现。
一句话总结：
本文提出了一种基于自增强自参考学习的快速图像着色方法，通过提取颜色嵌入和利用渐进式风格特征转换网络，实现了高效且性能良好的图像着色。
End-to-End Training of Multi-Document Reader and Retriever for Open-Domain Question Answering
发布时间：2021-06-09
作者：Devendra Singh Sachan, Siva Reddy, William Hamilton, Chris Dyer, Dani Yogatama
中文摘要：
本文提出了一种端到端可微的训练方法，用于检索增强的开域问答系统，该系统在生成答案时结合多个检索到的文档中的信息。我们将检索决策建模为相关文档集合的潜在变量。由于对检索到的文档集合进行边缘化计算上很困难，我们使用期望最大化算法来近似。我们迭代地估计潜在变量的值（针对给定问题的相关文档集合），然后使用这个估计值来更新检索器和阅读器的参数。我们假设这种端到端训练比分阶段训练更好地使训练信号流向阅读器，然后流向检索器。这导致检索器能够为问题选择更多相关文档，而阅读器则基于更准确的文档进行训练以生成答案。在三个基准数据集上的实验表明，我们提出的方法比所有现有方法在可比规模上高出2-3%的绝对精确匹配点，实现了新的最先进结果。我们的结果还证明了学习检索以改进答案生成而不需要检索决策的显式监督的可行性。
一句话总结：
本文提出了一种端到端可微的训练方法，通过优化检索和阅读器参数，显著提升了检索增强问答系统的性能。
Clone-Seeker: Effective Code Clone Search Using Annotations
发布时间：2021-06-06
作者：Muhammad Hammad, Önder Babur, Hamid Abdul Basit, Mark van den Brand
中文摘要：
代码搜索在软件开发中扮演着重要角色，例如在探索性开发或从代码库中机会性重用现有代码时。在自动化软件移植、软件多样化和软件修复等任务中，常常需要探索具有相同功能的不同实现。代码克隆，即语法或语义上相似的代码片段，是这类任务的理想候选。搜索代码克隆涉及使用给定的搜索查询来检索相关代码片段。我们提出了一种名为Clone-Seeker的新方法，该方法专注于利用代码克隆的特征来检索代码克隆。为此，我们为每个代码克隆生成自然语言文档形式的元数据。这些元数据包括从代码克隆中预处理出的标识符列表，以及表示代码克隆语义的关键词列表。该关键词列表可以从手动标注的克隆类的一般描述中提取，或者从整个克隆类的源代码中自动生成。这种方法帮助开发者能够基于以源代码术语或自然语言编写的搜索查询执行代码克隆搜索。在我们的定量评估中，我们表明（1）与现有技术相比，Clone-Seeker在BigCloneBench中搜索语义代码克隆（即Type-4）时具有更高的召回率；（2）Clone-Seeker可以通过应用自然语言查询来准确搜索相关代码克隆。
一句话总结：
Clone-Seeker通过生成代码克隆的自然语言元数据，提高了基于自然语言查询的代码克隆搜索的准确性和召回率。
Retrieve & Memorize: Dialog Policy Learning with Multi-Action Memory
发布时间：2021-06-04
作者：Yunhao Li, Yunyi Yang, Xiaojun Quan, Jianxing Yu
中文摘要：
对话策略学习，这是一个确定系统响应生成内容和任务完成程度的子任务，对于面向任务的对话系统至关重要。然而，对话数据集中系统动作的不平衡分布往往导致学习生成期望的动作和响应存在困难。在本文中，我们提出了一种检索和记忆框架来增强系统动作的学习。具体来说，我们首先设计了一个神经上下文感知检索模块，在给定对话上下文的情况下从训练集中检索多个候选系统动作。然后，我们提出了一种记忆增强的多解码器网络，在给定候选动作的条件下生成系统动作，这使得网络能够自适应地选择候选动作中的关键信息并忽略噪声。我们在大规模多领域面向任务的对话数据集MultiWOZ 2.0和MultiWOZ 2.1上进行了实验。实验结果表明，我们的方法在上下文到响应生成任务中在多个最先进模型中取得了具有竞争力的性能。
一句话总结：
本文提出了一种基于检索和记忆框架的对话策略学习方法，有效提升了面向任务对话系统中系统动作的学习效果。