論文英文標題：Enhancing Pre-trained Language Representations with Rich Knowledge for Machine Reading Comprehension
論文中文標題：通過豐富的知識增強預訓練的語言表示能力，以提高機器閱讀理解能力
作者：An Yang, Quan Wang, Jing Liu, Kai Liu, Yajuan Lyu, Hua Wu, Qiaoqiao She, Sujian Li來源:國際計算語言學協會(ACL,The Association for Computational Linguistics) 2019論文 百度被收錄ACL
編譯：楊一帆，孫靜正，劉博藝，數據挖掘組
摘要
機器閱讀理解 (Machine Reading Comprehension)是指讓機器閱讀文本,然後回答和閱讀內容相關的問題。該技術可以使機器具備從文本數據中獲取知識並回答問題的能力,是構建通用人工智能的關鍵技術之一,長期以來受到學術界和工業界的廣泛關注。近兩年,預訓練語言表示模型在機器閱讀理解任務上取得了突破性進展。通過在海量無標註文本數據上預訓練足夠深的網絡結構,當前最先進的語言表示模型能夠捕捉複雜的語言現象,更好地理解語言、回答問題。然而,正如大家所熟知的,真正意義上的閱讀理解不僅要求機器具備語言理解的能力,還要求機器具備知識以支撐複雜的推理。為此,在論文《Enhancing Pre-trained Language Representations with Rich Knowledge for Machine Reading Comprehension》中,百度開創性地提出了語言表示與知識表示的深度融合模型KT-NET,希望同時藉助語言和知識的力量進一步提升機器閱讀理解的效果。
核心內容
真正意義上的閱讀理解不僅要求機器具備語言理解的能力，還要求機器具備知識以支撐複雜的推理。上圖來自ReCoRD的示例，在段落中標記（帶下劃線）的候選答案。 普通BERT模型無法預測正確答案。但是，在整合了從WordNet和NELL收集的背景知識之後，它成功了。
KT-NET的模型架構如下圖所示。首先,針對給定的閱讀內容和結構化知識圖譜,分別利用語言表示模型和知識表示模型對兩者進行編碼,得到相應的文本表示和知識表示。接下來,利用注意力機制從知識圖譜中自動篩選並整合與閱讀內容高度相關的知識。最後,通過雙層自注意力匹配,實現文本表示和知識表示的深度融合,提升答案邊界預測的準確性。截止到發稿日,KT-NET仍然是常識推理閱讀理解數據集ReCoRD榜單上排名第一的模型,並在此前很長一段時期內都是SQuAD 1.1榜單上效果最好的單模型。
應用價值
應用價值:該項技術可應用於搜索問答、智能音箱等產品中,直接精準定位用戶輸入問題的答案,並在搜索結果首條顯著位置呈現或通過語音播報呈現給用戶。
原文鏈接：https://www.aclweb.org/anthology/P19-1226.pdf
Abstract
Machine reading comprehension (MRC) is a crucial and challenging task in NLP. Recently,pre-trained language models (LMs), especially BERT, have achieved remarkable success, presenting new state-of-the-art results in MRC. In this work, we investigate the potential of leveraging external knowledge bases (KBs) to further improve BERT for MRC. We introduce KT-NET, which employs an attention mechanism to adaptively select desired knowledge from KBs, and then fuses selected knowledge with BERT to enable context- and knowledge aware predictions. We believe this would combine the merits of both deep LMs and curated KBs towards better MRC. Experimental results indicate that KT-NET offers significant and consistent improvements over BERT, outperforming competitive baselines on ReCoRD and SQuAD1.1 benchmarks. Notably, it ranks the 1st place on the ReCoRD leaderboard, and is also the best single model on the SQuAD1.1 leaderboard at the time of submission (March 4th, 2019).
