Retrieval Augmented Generation - 2022年06月
Memory-Based Model Editing at Scale
发布时间：2022-06-13
作者：Eric Mitchell, Charles Lin, Antoine Bosselut, Christopher D. Manning, Chelsea Finn
中文摘要：
即使是最大的神经网络也会犯错误，而且随着世界的变化，曾经正确的预测也可能变得无效。模型编辑器通过对基础（预训练）模型的行为进行局部更新，来注入更新知识或纠正不良行为。现有的模型编辑器虽然显示出潜力，但也存在表达能力不足的问题：它们难以准确建模编辑的预期范围（受编辑影响的示例），导致与编辑松散相关的测试输入预测不准确，并且在多次编辑后往往完全失败。作为一种更高容量的替代方案，我们提出了带有检索增强反事实模型的半参数编辑（SERAC），它将编辑存储在显式记忆中，并学习对它们进行推理以调节基础模型的预测。为了使模型编辑器的评估更加严格，我们引入了基于问答、事实核查和对话生成的三个具有挑战性的语言模型编辑问题。我们发现，只有SERAC在这三个问题上都取得了高性能，并且始终显著优于现有的模型编辑方法。代码、数据和额外的项目信息将在https://sites.google.com/view/serac-editing上提供。
一句话总结：
SERAC通过存储编辑并利用检索增强反事实模型，实现了对模型编辑的高效和准确处理。
CoSe-Co: Text Conditioned Generative CommonSense Contextualizer
发布时间：2022-06-12
作者：Rachit Bansal, Milan Aggarwal, Sumit Bhatia, Jivat Neet Kaur, Balaji Krishnamurthy
中文摘要：
预训练语言模型（PTLMs）在自然语言任务上表现出色。许多先前的研究利用了以知识图谱（KGs）中通过标记关系连接的实体形式存在的结构化常识来辅助PTLMs。检索方法将KG作为一个独立的静态模块使用，这限制了其覆盖范围，因为KG包含有限的知识。生成方法通过在KG三元组上训练PTLMs来提高获取知识的规模。然而，在符号化KG实体上训练限制了它们在涉及自然语言文本的任务中的应用，因为这些方法忽略了整体上下文。为了缓解这一问题，我们提出了一种基于句子的条件化常识上下文化器（CoSe-Co），使其能够通用地用于生成与输入文本整体上下文相关的知识的任务。为了训练CoSe-Co，我们提出了一种新的数据集，包含句子和常识知识对。CoSe-Co推断出的知识多样，并包含底层KG中不存在的全新实体。我们在多选题问答题（Multi-Choice QA）和开放式常识推理（Open-ended CommonSense Reasoning）任务中增强了生成的知识，导致在CSQA、ARC、QASC和OBQA数据集上优于当前最佳方法。我们还展示了其在改进反义句生成任务基线模型性能方面的适用性。
一句话总结：
本研究提出了一种基于句子的常识上下文化器，通过增强知识图谱中的常识知识，显著提升了预训练语言模型在自然语言处理任务中的性能。
Negative Sampling for Contrastive Representation Learning: A Review
发布时间：2022-06-01
作者：Lanling Xu, Jianxun Lian, Wayne Xin Zhao, Ming Gong, Linjun Shou, Daxin Jiang, Xing Xie, Ji-Rong Wen
中文摘要：
对比表示学习（CRL）的“学习比较”范式，通过比较正样本和负样本来进行表示学习，在包括自然语言处理、计算机视觉、信息检索和图学习在内的广泛领域取得了巨大成功。尽管许多研究工作集中在数据增强、非线性变换或其他CRL的特定部分，但文献中通常忽略了负样本选择的重要性。在本文中，我们提供了一种对负样本选择（NS）技术的系统回顾，并讨论了它们如何有助于CRL的成功。作为本文的核心部分，我们将现有的NS方法总结为四个类别，并分别列出每个类别的优缺点，最后提出几个开放的研究问题作为未来的研究方向。通过跨多个领域推广和调整基本的NS思想，我们希望这份调查可以加速跨领域知识共享，并激励未来对更好的CRL进行的研究。
一句话总结：
本文对负样本选择技术在对比表示学习中的重要性进行了系统回顾，并提出了未来研究方向，以促进跨领域知识共享和CRL的进一步发展。