Retrieval Augmented Generation - 2021年11月
A model of semantic completion in generative episodic memory
发布时间：2021-11-26
作者：Zahra Fayyaz, Aya Altamimi, Sen Cheng, Laurenz Wiskott
中文摘要：
许多研究都表明情景记忆是一个生成过程，但大多数计算模型采用存储观点。在这项工作中，我们提出了一种用于生成性情景记忆的计算模型。该模型基于一个核心假设，即海马体以记忆痕迹的形式存储和检索情景的某些方面，这些方面必然是不完整的。在回忆时，新皮层根据我们称之为语义补全的过程，合理地填补缺失的信息。我们使用代表背景的不同背景增强的数字（MNIST）图像作为情景。我们的模型基于一个VQ-VAE，它以索引矩阵的形式生成压缩的潜在表示，该矩阵仍具有一定的空间分辨率。我们假设注意力选择索引矩阵的一部分，而其他部分被丢弃，这代表了情景的主旨，并作为记忆痕迹存储。在回忆时，缺失的部分由PixelCNN填补，该网络模拟语义补全，然后由VQ-VAE将完成的索引矩阵解码为完整的图像。该模型能够以语义合理的方式完成记忆痕迹的缺失部分，直到它可以从头生成合理的图像。由于索引矩阵中的组合学，该模型对未训练的图像具有良好的泛化能力。压缩以及语义补全有助于显著降低内存需求和对噪声的鲁棒性。最后，我们还模拟了一个情景记忆实验，并能够重现语义一致的环境总是比不一致的环境回忆得更好，高注意力水平在两种情况下都提高了记忆的准确性，而那些没有被正确记住的环境更有可能以语义一致的方式而不是完全错误的方式被记住。
一句话总结：
本研究提出了一种基于VQ-VAE和PixelCNN的计算模型，用于模拟生成性情景记忆的存储和回忆过程，并通过语义补全和压缩技术实现了对记忆痕迹的合理补充和噪声鲁棒性。
Reason first, then respond: Modular Generation for Knowledge-infused Dialogue
发布时间：2021-11-09
作者：Leonard Adolphs, Kurt Shuster, Jack Urbanek, Arthur Szlam, Jason Weston
中文摘要：
大型语言模型虽然能够生成流畅的对话，但往往会产生事实不准确的情况。虽然检索增强模型有助于缓解这一问题，但它们仍然面临着既要推理以提供正确知识又要同时生成对话的难题。在这项工作中，我们提出了一种模块化模型，称为知识到响应（K2R），用于将知识融入对话代理中，将这个问题分解为两个更简单的步骤。K2R首先根据对话上下文生成一个知识序列，作为中间步骤。在“推理步骤”之后，该模型接着关注其生成的知识序列以及对话上下文，以生成最终的响应。在详细的实验中，我们发现这种模型在基于知识的对话任务中产生的幻觉更少，并且在可解释性和模块化方面具有优势。特别是，它可以用于将问答（QA）和对话系统融合在一起，使对话代理能够给出知识渊博的答案，或者使问答模型在零样本设置中给出对话式响应。
一句话总结：
该研究提出了一种名为K2R的模块化模型，通过将知识序列生成与对话生成分离，有效减少了对话代理在知识基础对话任务中的幻觉，并提高了其可解释性和模块化。