Retrieval Augmented Generation - 2021年04月
Zero-shot Slot Filling with DPR and RAG
发布时间：2021-04-17
作者：Michael Glass, Gaetano Rossiello, Alfio Gliozzo
中文摘要：
自动从给定文档集合中提取知识图谱（KG）是人工智能领域一个长期存在的问题。评估这种能力的一种方法是通过槽填充任务。给定一个以[实体，槽，?]形式的实体查询，系统被要求通过生成或从相关段落中提取缺失值来“填充”该槽。这种能力对于创建自动知识库填充系统至关重要，这种需求正在日益增长，尤其是在企业应用中。最近，有一种有希望的方向，即以评估知识库的方式评估语言模型，而槽填充任务是最适合这一目标的。该领域最近的发展尝试通过基于检索的语言模型以端到端的方式解决这个问题。像检索增强生成（RAG）这样的模型在不涉及复杂的信息提取管道的情况下表现出惊人的性能。然而，这些模型在KILT基准测试的两个槽填充任务上取得的结果仍然没有达到现实世界信息提取系统所需的标准。在本文中，我们描述了我们所采用的一些策略，以提高RAG的检索器和生成器，使其成为一个更好的槽填充器。我们的KGI0系统（可在https://github.com/IBM/retrieve-write-slot-filling获取）在KILT排行榜上T-REx和zsRE数据集上都达到了第一名，并且有很大的优势。
一句话总结：
本文提出了一种改进RAG模型的方法，使其在知识图谱的槽填充任务上取得了显著的成绩。
Contrastive Learning with Stronger Augmentations
发布时间：2021-04-15
作者：Xiao Wang, Guo-Jun Qi
中文摘要：
随着对比学习方法的进步，表征学习得到了显著发展。大多数这些方法都受益于各种精心设计的数据增强，这些增强旨在保持其身份，以便从同一实例转换的图像仍然可以被检索。然而，这些精心设计的变换限制了我们对其他变换暴露出的新模式的进一步探索。同时，正如我们的实验所发现的那样，强烈的增强扭曲了图像的结构，导致检索困难。因此，我们提出了一种称为“强增强对比学习”（Contrastive Learning with Stronger Augmentations，简称CLSA）的通用框架，以补充当前的对比学习方法。在这里，采用在表征库上弱增强和强增强图像之间的分布差异来监督从实例池中检索强增强查询。在ImageNet数据集和下游数据集上的实验表明，强增强图像的信息可以显著提高性能。例如，CLSA在ImageNet上使用标准ResNet-50架构和单层分类器微调时达到了76.2%的top-1准确率，这几乎与76.5%的监督结果相当。代码和预训练模型可在https://github.com/maple-research-lab/CLSA上获取。
一句话总结：
CLSA通过引入强增强来提升对比学习性能，显著提高了图像检索的准确性。