论文英文标题：Enhancing Pre-trained Language Representations with Rich Knowledge for Machine Reading Comprehension
论文中文标题：通过丰富的知识增强预训练的语言表示能力，以提高机器阅读理解能力
作者：An Yang, Quan Wang, Jing Liu, Kai Liu, Yajuan Lyu, Hua Wu, Qiaoqiao She, Sujian Li来源:国际计算语言学协会(ACL,The Association for Computational Linguistics) 2019论文 百度被收录ACL
编译：杨一帆，孙静正，刘博艺，数据挖掘组
摘要
机器阅读理解 (Machine Reading Comprehension)是指让机器阅读文本,然后回答和阅读内容相关的问题。该技术可以使机器具备从文本数据中获取知识并回答问题的能力,是构建通用人工智能的关键技术之一,长期以来受到学术界和工业界的广泛关注。近两年,预训练语言表示模型在机器阅读理解任务上取得了突破性进展。通过在海量无标注文本数据上预训练足够深的网络结构,当前最先进的语言表示模型能够捕捉复杂的语言现象,更好地理解语言、回答问题。然而,正如大家所熟知的,真正意义上的阅读理解不仅要求机器具备语言理解的能力,还要求机器具备知识以支撑复杂的推理。为此,在论文《Enhancing Pre-trained Language Representations with Rich Knowledge for Machine Reading Comprehension》中,百度开创性地提出了语言表示与知识表示的深度融合模型KT-NET,希望同时借助语言和知识的力量进一步提升机器阅读理解的效果。
核心内容
真正意义上的阅读理解不仅要求机器具备语言理解的能力，还要求机器具备知识以支撑复杂的推理。上图来自ReCoRD的示例，在段落中标记（带下划线）的候选答案。 普通BERT模型无法预测正确答案。但是，在整合了从WordNet和NELL收集的背景知识之后，它成功了。
KT-NET的模型架构如下图所示。首先,针对给定的阅读内容和结构化知识图谱,分别利用语言表示模型和知识表示模型对两者进行编码,得到相应的文本表示和知识表示。接下来,利用注意力机制从知识图谱中自动筛选并整合与阅读内容高度相关的知识。最后,通过双层自注意力匹配,实现文本表示和知识表示的深度融合,提升答案边界预测的准确性。截止到发稿日,KT-NET仍然是常识推理阅读理解数据集ReCoRD榜单上排名第一的模型,并在此前很长一段时期内都是SQuAD 1.1榜单上效果最好的单模型。
应用价值
应用价值:该项技术可应用于搜索问答、智能音箱等产品中,直接精准定位用户输入问题的答案,并在搜索结果首条显著位置呈现或通过语音播报呈现给用户。
原文链接：https://www.aclweb.org/anthology/P19-1226.pdf
Abstract
Machine reading comprehension (MRC) is a crucial and challenging task in NLP. Recently,pre-trained language models (LMs), especially BERT, have achieved remarkable success, presenting new state-of-the-art results in MRC. In this work, we investigate the potential of leveraging external knowledge bases (KBs) to further improve BERT for MRC. We introduce KT-NET, which employs an attention mechanism to adaptively select desired knowledge from KBs, and then fuses selected knowledge with BERT to enable context- and knowledge aware predictions. We believe this would combine the merits of both deep LMs and curated KBs towards better MRC. Experimental results indicate that KT-NET offers significant and consistent improvements over BERT, outperforming competitive baselines on ReCoRD and SQuAD1.1 benchmarks. Notably, it ranks the 1st place on the ReCoRD leaderboard, and is also the best single model on the SQuAD1.1 leaderboard at the time of submission (March 4th, 2019).
