Retrieval Augmented Generation - 2019年04月
An Axiomatic Approach to Regularizing Neural Ranking Models
发布时间：2019-04-15
作者：Corby Rosset, Bhaskar Mitra, Chenyan Xiong, Nick Craswell, Xia Song, Saurabh Tiwary
中文摘要：
形式化信息检索（IR）寻求一组在IR模型中期望的基本属性。这些属性在形式化表达后，为寻找更好的相关性估计函数提供指导。神经排序模型通常包含大量的参数。这些模型的训练涉及根据大量标记示例寻找适当的参数值。直观上，可以指导寻找更好传统IR模型的公理也应该有助于基于机器学习的排序器的更好参数估计。这项工作探讨了使用IR公理来增强对训练神经排序模型的直接监督。我们在训练过程中根据已知的公理修改数据集中的文档，并添加了一个基于排序模型与公理之间一致性的正则化损失，该一致性决定了应该优先选择文档的原始版本还是经过扰动的版本。我们的实验表明，使用公理正则化的神经排序模型实现了更快的收敛和更好的泛化。
一句话总结：
本研究通过引入信息检索公理正则化，提高了神经排序模型的训练效率和泛化能力。