Retrieval Augmented Generation - 2022年09月
Re-Imagen: Retrieval-Augmented Text-to-Image Generator
发布时间：2022-09-29
作者：Wenhu Chen, Hexiang Hu, Chitwan Saharia, William W. Cohen
中文摘要：
本研究探讨了基于文本生成图像的技术，该技术在生成多样化且逼真的图像方面取得了显著进展，这得益于在大规模图像-文本数据上训练的扩散模型和自回归模型。尽管最先进的模型能够生成常见实体的高质量图像，但它们在生成不常见实体（如“Chortai（狗）”或“Picarones（食物）”等）的图像时往往存在困难。为了解决这一问题，我们提出了检索增强文本到图像生成器（Retrieval-Augmented Text-to-Image Generator，简称Re-Imagen），这是一种生成模型，它利用检索到的信息来生成高保真和忠实于原始文本的图像，即使是对于罕见或未见过的实体。给定一个文本提示，Re-Imagen会访问一个外部多模态知识库来检索相关的（图像，文本）对，并使用这些对作为参考来生成图像。通过这一检索步骤，Re-Imagen获得了关于提及实体的高级语义和低级视觉细节的知识，从而提高了其在生成实体视觉外观方面的准确性。我们使用包含（图像，文本，检索）三元组的构建数据集来训练Re-Imagen，以教会模型同时基于文本提示和检索进行定位。此外，我们开发了一种新的采样策略，通过交错文本和检索条件下的无分类器指导来平衡文本和检索的对齐。Re-Imagen在COCO和WikiImage上的FID分数上取得了显著的提升。为了进一步评估模型的能力，我们引入了EntityDrawBench，这是一个新的基准，它评估了从常见到罕见的不同实体（包括狗、食物、地标、鸟类和人物）的图像生成能力。在EntityDrawBench上的人体评估表明，Re-Imagen可以显著提高生成图像的忠实度，尤其是在较少出现的实体上。
一句话总结：
Re-Imagen通过检索增强文本到图像生成，显著提升了生成图像的忠实度和多样性。
FiD-Light: Efficient and Effective Retrieval-Augmented Text Generation
发布时间：2022-09-28
作者：Sebastian Hofstätter, Jiecao Chen, Karthik Raman, Hamed Zamani
中文摘要：
检索增强生成模型相较于独立的语言模型具有许多优势：除了对给定查询提供文本答案外，它们还提供了来自可更新知识库的来源项。然而，它们也是更复杂的系统，需要处理长输入。在这项工作中，我们引入了FiD-Light，以显著提高最先进的检索增强FiD模型的效率，同时保持相同的有效性水平。我们的FiD-Light模型限制了从编码器（分别编码段落）到解码器（使用连接的编码表示）的信息流。此外，我们通过文本源指针对FiD-Light进行适应性重排序，以提高排名靠前的来源精确度。我们在七个知识密集型任务（KILT）上的实验表明，FiD-Light在查询延迟和有效性之间的帕累托前沿上持续改进。带有源指针集的FiD-Light在六个KILT任务上实现了结合文本生成和来源检索评估的显著新状态-of-the-art结果，同时保持了合理的效率。
一句话总结：
FiD-Light通过优化信息流和引入文本源指针重排序，显著提升了检索增强生成模型的效率和精确度。
Factual and Informative Review Generation for Explainable Recommendation
发布时间：2022-09-12
作者：Zhouhang Xie, Sameer Singh, Julian McAuley, Bodhisattwa Prasad Majumder
中文摘要：
近年来，模型能够生成流畅且语法正确的合成评论，同时准确预测用户评分。这些生成的评论表达了用户对相关产品的估计意见，通常被视为联合预测评分的自然语言“理由”。然而，先前的研究发现，现有模型往往生成重复、普遍适用和通用的解释，导致信息不充分的理由。此外，我们的分析显示，先前模型生成的内容往往包含事实性的幻觉。这些问题需要新的解决方案，能够生成既具有信息性又基于事实的解释。受最近在生成中使用检索内容以及参数知识取得成功的启发，我们提出了一种增强生成器的个性化检索器，其中检索器的输出作为外部知识来增强生成器。在Yelp、TripAdvisor和亚马逊电影评论数据集上的实验表明，我们的模型能够生成更可靠地包含现有评论、更多样化且由人类评估者认为更具信息性的解释。
一句话总结：
本研究提出了一种结合个性化检索器增强生成器的模型，以生成更可靠、多样且信息丰富的产品评论解释。