adequacy AAAI2019 | 腾讯AI Lab详解自然语言处理领域三大研究方向及入选论文( 三 ) 模型

文章图片
实验结果
新闻摘要生成
6.考虑读者评论的生成式文本摘要
Abstractive Text Summarization by Incorporating Reader Comments
在基于神经网络的生成式文本摘要研究领域中，传统的基于序列到序列的模型对文档主题的建模经常出错。为解决这个问题，研究者提出了读者感知的摘要生成任务，它利用读者的评论来帮助生成符合文档主题的更好的摘要。与传统的生成式摘要任务不同，读者感知型摘要面临两个主要挑战：评论是非正式的，有噪音的; 联合建模新闻文档和读者评论具有一定挑战性。
为解决上述问题，本文设计了一个基于对抗学习的读者感知型摘要生成模型，它由四个部分组成：基于序列到序列的摘要生成模块; 读者注意力建模模块来捕捉读者关注的主题; 督导建模模块来描述生成的摘要和读者关注主题之间的语义差距; 目标跟踪模块来产生每个生成步骤的目标。督导和目标定位模块以对抗学习的方式来指导我们框架的训练。

文章图片
模型框架概览
研究者在自行收集的文摘数据集进行大量实验，结果表明RASG在自动评测和人工评测方面都取得了最好的效果。实验结果还证明了该框架中每个模块的有效性，同时研究人员发布了一个大规模数据集供进一步研究。

文章图片

文章图片
自动评测结果和人工评测结果
机器翻译
机器翻译是人工智能的终极目标之一，其核心语言理解和语言生成是自然语言处理的两大基本问题，极具挑战性。近几年来，随着深度学习技术的发展，神经网络机器翻译取得了巨大进展，其生成的译文接近自然句子，成为了主流模型。但是由于当前神经网络的不可解释性，无法保证原文内容完整传递到译文，使得神经网络翻译模型存在译文忠实度问题。腾讯AI Lab专注于解决该核心问题，在AAAI2019会议上发表的多篇论文通过改进模型架构和训练框架，提升模型对源句理解和目标句生成的能力，从而改善神经网络翻译模型忠实度低的问题。
自注意力模型
7.上下文增强的自注意力神经网络
Context-Aware Self-Attention Networks
自注意力模型通过直接计算任意两个词的向量表示，得到它们的关联性强弱。由于其极佳的并行性运算及捕获长距离依赖的能力，自注意力模型成为当前主流翻译模型的核心组件。在本工作中，通过改进自注意力模型的全局上下文建模能力，从而更好地计算词间的关联性。研究者使用不同策略来建模全局上下文信息，如顶层全局信息、深层信息及深层全局信息。为保持自注意力模型的并行性及简易性，研究者将上下文信息引入注意力模型输入的转化函数中。该论文是改进自注意力模型的第二个工作，前续工作改进了自注意力模型的局部建模能力。

文章图片
深层模型
8.基于动态层融合的神经网络机器翻译
Dynamic Layer Aggregation for Neural Machine Translation
主流的翻译模型都是深层网络结构，比如Transformer模型的编码器和解码器都是由多层自注意力网络组成。近期多个工作表明不同层表示可以捕获输入句子不同级别的语言学信息，但主流模型只利用了编码器和解码器的最上层表示信息，而忽视了其余层包含的有用信息。本研究使用胶囊网络中的迭代路径算法融合所有层的表示，从而更好地利用不同层捕获的不同语言学信息。该论文为利用深层表示的第二个工作，前续工作使用深层连接改进深层网络中信息和梯度的传递路径，而本工作更关注于直接融合不同层表示。