adequacy AAAI2019 | 腾讯AI Lab详解自然语言处理领域三大研究方向及入选论文( 二 ) 模型

在文本生成问题中，根据不同的输入类型，现有的研究任务大致划分为三大类：文本到文本的生成，数据到文本的生成以及图像、视频、音频到文本的生成。每一类的文本生成技术都极具挑战性，在近年来的自然语言处理及人工智能领域的顶级会议中均有相当多的研究工作。
腾讯AI Lab在对话生成及文本生成技术均有相关的论文被AAAI2019接收。
短文本中生成回复
4.短文本对话中的多样性回复
Generating Multiple Diverse Responses for Short-Text Conversation
短文本生成任务之前的工作，主要聚焦在如何学习一个模型为输入及其回复建立一个一对一的映射关系。但在实际场景中，一个输入往往有多种回复。因此，研究者提出了一种新的回复生成模型，在训练过程中考虑了一个提问同时具有多个回复的情况。具体来说，假设每个输入可以推断出多个潜在词，不同的回复是围绕着不同的潜在词而产生的。研究者设计了一个基于强化学习算法的对话生成模型。如下图所示，所提出的框架主要有两个核心部分：潜在词推断网络：其根据输入的提问来选择合适的潜在词作为生成网络输入的一部分；生成网络，根据潜在词推断网络选择的潜在词以及输入的提问来生成回复。基于强化学习的训练过程中，使用F1值来计算潜在词推断网络的奖赏并更新推断网络参数，并选取这多个回复中损失最小的一项来更新生成网络参数。

文章图片
模型框架图

文章图片

文章图片
微博和Twitter数据集人工评测结果
研究者分别在微博和Twitter两个数据集上进行大量实验，人工评测的结果表明所提出的模型相比多个之前的模型，在提升回复信息量的同时保证了回复的多样性。以下是基线模型MultiMech和我们所提出的模型在微博数据集上的生成样例。方括号内为潜在词推断网络选择的潜在词。

文章图片
微博数据集生成样例
多选干扰项生成
5.阅读理解问题的干扰选项生成
Generating Distractors for Reading Comprehension Questions from Real Examinations
本文探究了考试中为多选阅读理解题型生成干扰项的任务。和之前工作不同，研究者不以生成单词或短语类型的干扰项为目的，趋向生成更长并含有丰富语义信息的干扰项，从而生成的干扰项和真实考试中阅读理解题目的干扰项尽可能接近。

文章图片
模型框架概览
如图所示，以阅读理解文章，问题和正确的答案选项作为输入，目标是生成多个与答案有关联，和问题语义上连贯并能在文章中找到蛛丝马迹的干扰项。研究者提出了一个层次编码器-解码器模型，辅之以静态与动态注意力机制来解决这个任务。具体来说，动态注意力机制可以融合句子级别和词级别的注意力信息，并在解码的每一个步骤会有所变化，从而生成一个可读性更强的序列。静态注意力机制可以调制动态注意力机制，打压与当前问题无关的句子或者包含正确答案的句子。
通过第一个阅读理解问题干扰项生成数据集上的实验，本文提出的模型超过了多个基线模型。人工评测中与一些基线模型生成的干扰项相比，其模型生成的干扰项更加容易迷惑标注者。