Retrieval Augmented Generation - 2020年01月
Paraphrase Generation with Latent Bag of Words
发布时间：2020-01-07
作者：Yao Fu, Yansong Feng, John P. Cunningham
中文摘要：
句子释义生成是自然语言处理中的一个长期重要问题。此外，深度生成模型在离散潜在变量文本生成方面的最新进展显示出有希望的结果。受离散潜在结构变分自编码器的启发，在这项工作中，我们提出了一种潜在词袋（BOW）模型用于句子释义生成。我们通过目标句子的BOW来定位离散潜在变量的语义。我们使用这个潜在变量构建一个全可微的内容规划和表面实现模型。具体来说，我们使用源词来预测它们的邻居，并用softmax混合模型来建模目标BOW。我们使用Gumbel top-k重新参数化来从预测的BOW分布中进行可微的子集采样。我们检索采样的词嵌入，并使用它们来增强解码器并引导其生成搜索空间。我们的潜在BOW模型不仅增强了解码器，而且具有明显的可解释性。我们通过（i）无监督学习词邻居（ii）逐步生成过程展示了模型的可解释性。大量的实验证明了该模型的透明和有效的生成过程。[我们的代码可以在\url{https://github.com/FranxYao/dgm_latent_bow}找到]
一句话总结：
提出了一种基于潜在词袋的句子释义生成模型，通过无监督学习词邻居和逐步生成过程，实现了透明和有效的文本释义生成。