Retrieval Augmented Generation - 2022年01月
On-Device Learning with Cloud-Coordinated Data Augmentation for Extreme Model Personalization in Recommender Systems
发布时间：2022-01-24
作者：Renjie Gu, Chaoyue Niu, Yikai Yan, Fan Wu, Shaojie Tang, Rongfeng Jia, Chengfei Lyu, Guihai Chen
中文摘要：
数据异质性是推荐系统的一个固有属性，使得在云上基于全局数据进行训练的模型（这在工业界是主流做法），对于每个用户的本地数据分布来说都不是最优的。为了处理数据异质性，采用设备上学习的模型个性化是一种潜在的解决方案。然而，使用用户的小规模本地样本进行设备上的训练会导致严重的过拟合并损害模型的一般化能力。在本工作中，我们提出了一种新的设备-云协同学习框架，称为CoDA，以打破纯云学习和设备学习的困境。CoDA的关键原则是从云的全局样本池中检索相似样本来增强每个用户的本地数据集以训练推荐模型。具体来说，在云上进行粗粒度样本匹配后，每个设备上进一步训练个性化的样本分类器进行细粒度样本过滤，这可以学习本地数据分布与外部数据分布之间的边界。我们还构建了一个端到端的数据流、模型流、计算流和控制流支持管道，以支持云与每个设备之间的流动。我们在移动淘宝的推荐场景中部署了CoDA。在线A/B测试结果表明，CoDA在云学习（无模型个性化）和设备训练（无数据增强）方面都取得了显著的性能提升。在真实设备上的开销测试展示了CoDA中设备任务的计算、存储和通信效率。
一句话总结：
CoDA通过设备-云协同学习框架，有效解决了推荐系统中数据异质性带来的挑战，显著提升了推荐模型的性能。
Watch Less and Uncover More: Could Navigation Tools Help Users Search and Explore Videos?
发布时间：2022-01-10
作者：Maria Perez-Ortiz, Sahan Bulathwela, Claire Dormann, Meghana Verma, Stefan Kreitmayer, Richard Noss, John Shawe-Taylor, Yvonne Rogers, Emine Yilmaz
中文摘要：
先前的研究表明，“内容预览工具”可以提升用户在不同信息检索任务中对相关性的判断速度和准确性。本文介绍了一种新型的用户界面工具——内容流栏（Content Flow Bar），旨在通过认知增强的导航形式，使用户能够快速识别信息视频中的相关片段，从而促进浏览。该工具通过提供语义“片段”，使用户能够快速浏览视频内容。工具提供了视觉上吸引人的弹出窗口，这些窗口出现在每个视频底部的时序栏中，使用户能够预先和一目了然地看到内容中主题的发展。我们进行了一项用户研究，以评估该工具如何改变用户在视频检索中的搜索体验，以及它如何支持探索和信息搜索。用户问卷调查显示，参与者认为内容流栏有助于在视频中找到相关信息，并且使用户感到愉悦。用户研究中的交互日志，其中参与者通过与工具交互来完成两个信息任务，表明该工具在增强视频内容发现性方面具有潜力。这种发现的潜力可以利用新一代的搜索和信息检索导航工具。
一句话总结：
内容流栏通过提供语义片段和视觉弹出窗口，显著提升了用户在视频检索中的搜索体验和信息发现性。
SMDT: Selective Memory-Augmented Neural Document Translation
发布时间：2022-01-05
作者：Xu Zhang, Jian Yang, Haoyang Huang, Shuming Ma, Dongdong Zhang, Jinlong Li, Furu Wei
中文摘要：
现有的文档级神经机器翻译（NMT）模型已经充分探索了不同的上下文设置，以提供目标生成的指导。然而，很少关注于开创更多样化的上下文以获取丰富的上下文信息。在本文中，我们提出了一种选择记忆增强的神经文档翻译模型来处理包含大范围上下文假设空间的文档。具体来说，我们从训练语料库中检索相似的双语句子对来增强全局上下文，然后通过选择性机制扩展双流注意力模型以捕捉局部上下文和多样化的全局上下文。这种统一的方法使得我们的模型能够优雅地训练在三个公开的文档级机器翻译数据集上，并且显著优于之前的文档级NMT模型。
一句话总结：
本文提出了一种选择记忆增强的神经文档翻译模型，通过扩展双流注意力模型并利用选择性机制，有效地处理了文档级机器翻译中的上下文信息，显著提升了翻译质量。