Retrieval Augmented Generation - 2021年03月

Representation Learning by Ranking under multiple tasks

发布时间：2021-03-28

作者：Lifeng Gu

中文摘要：

近年来，表示学习已成为机器学习社区的研究焦点。大规模预训练神经网络成为实现通用智能的第一步。神经网络成功的关键在于其对数据的抽象表示能力。实际上，几个学习领域都在讨论如何学习表示，但缺乏一个统一的视角。我们将多个任务下的表示学习问题转化为排序问题，将排序问题作为一个统一的视角，通过优化近似NDCG损失来解决不同任务下的表示学习。在分类、检索、多标签学习、回归、自监督学习等不同学习任务下的实验证明了近似NDCG损失的优越性。进一步地，在自监督学习任务中，通过数据增强方法对训练数据进行转换，以提高近似NDCG损失的性能，这证明了近似NDCG损失可以充分利用无监督训练数据的信息。

一句话总结：

本文提出了一种基于近似NDCG损失的表示学习方法，通过将表示学习问题转化为排序问题，有效提高了不同学习任务中的模型性能。

---