Retrieval Augmented Generation - 2023年01月
In-Context Retrieval-Augmented Language Models
发布时间：2023-01-31
作者：Ori Ram, Yoav Levine, Itay Dalmedigos, Dor Muhlgay, Amnon Shashua, Kevin Leyton-Brown, Yoav Shoham
中文摘要：
检索增强语言模型（Retrieval-Augmented Language Modeling，RALM）方法，在生成过程中将语言模型（LM）的条件设置为来自基础语料库的相关文档，已被证明可以显著提高语言模型的表现。此外，它们可以减轻事实性不准确文本生成的问题，并提供自然来源归因机制。现有的RALM方法侧重于修改LM架构以促进外部信息的整合，这大大增加了部署的复杂性。本文考虑了一种简单的替代方案，我们称之为上下文RA-LM：保持LM架构不变，并在输入前添加基础文档，而不进行任何进一步的LM训练。我们表明，基于现成通用检索器的上下文RA-LM在模型大小和不同语料库上提供了令人惊讶的LM增益。我们还证明，文档检索和排名机制可以针对RALM设置进行专门化，以进一步提高性能。我们得出结论，上下文RA-LM具有显著增加LM基础普及率的潜力，尤其是在必须使用未经修改的预训练LM或通过API访问的情况下。
一句话总结：
本文提出了一种名为上下文RA-LM的简单方法，通过在不改变LM架构的情况下添加基础文档来提高语言模型性能，为在不修改预训练LM的情况下实现LM基础提供了新的可能性。
Learning Customized Visual Models with Retrieval-Augmented Knowledge
发布时间：2023-01-17
作者：Haotian Liu, Kilho Son, Jianwei Yang, Ce Liu, Jianfeng Gao, Yong Jae Lee, Chunyuan Li
中文摘要：
本文提出了一种名为REACT（检索增强定制化）的框架，旨在通过检索网络上的相关知识来构建针对特定领域的定制化视觉模型。该框架从网络规模数据库中检索最相关的图像-文本对（约占CLIP预训练数据的3%）作为外部知识，并通过仅训练新的模块化块并冻结所有原始权重来定制模型。通过在分类、检索、检测和分割任务上的广泛实验，包括零样本、少量样本和全样本设置，验证了REACT的有效性。特别是在零样本分类任务中，与CLIP相比，在ImageNet上提高了5.4%，在ELEVATER基准（20个数据集）上提高了3.7%。
一句话总结：
REACT通过检索网络知识并定制模型模块，显著提升了视觉模型在特定领域的迁移学习能力。
You Truly Understand What I Need: Intellectual and Friendly Dialogue Agents grounding Knowledge and Persona
发布时间：2023-01-06
作者：Jungwoo Lim, Myunghoon Kang, Yuna Hur, Seungwon Jung, Jinsung Kim, Yoonna Jang, Dongyub Lee, Hyesung Ji, Donghoon Shin, Seungryong Kim, Heuiseok Lim
中文摘要：
为了构建一个能够与人类流畅互动的对话代理，先前的研究将知识或个人资料融合到预训练的语言模型中。然而，同时考虑知识和个人资料的模型仍然有限，导致幻觉和被动使用个人资料。我们提出了一种有效的对话代理，该代理同时将外部知识和个人资料进行归一化。代理通过使用多编码器实现的候选评分来选择适当的知识和个人资料用于生成答案。然后，我们的模型利用知识-个人资料增强的查询进行检索增强生成，以产生较少的幻觉和更具吸引力的表述。我们在个人资料-知识聊天上进行了实验，在自动指标上的归一化和生成任务中实现了最先进的性能。此外，我们通过人工评估和定性结果验证了模型关于幻觉和吸引力的答案。我们展示了我们的检索器在提取相关文档方面的有效性，与之前的其他检索器相比，并比较了多种候选评分方法。代码可在https://github.com/dlawjddn803/INFO找到。
一句话总结：
本研究提出了一种同时考虑知识和个人资料的对话代理，通过检索增强生成技术减少了幻觉并提高了对话的吸引力。