目錄
在序列標註模型中使用位置注意力進行抽取實體與重疊關係的聯合抽取
將混合CTC/Attention方法嵌入到Transformer結構中實現在線端到端的流式語音識別架構
基於人工反向修正數據的差異學習
利用一種基於多屬性鄰近度的方法從可比較的新聞語料庫中挖掘事件
Skip-Thought向量
在序列標註模型中使用位置注意力進行抽取實體與重疊關係的聯合抽取
論文名稱：Joint extraction of entities and overlapping relations using position-attentive sequence labeling
作者：Dai Dai / Xinyan Xiao / Yajuan Lyu / Shan Dou / Qiaoqiao She / Haifeng Wang
發表時間：2019/7/17
論文鏈接：https://aaai.org/ojs/index.php/AAAI/article/view/4591
推薦原因
本文設計了一種基於位置信息和上下文信息的注意力機制，同時將一個關係抽取任務拆成了n(n為句子的長度)個序列標註子任務，一個階段即可將實體、關係等信息抽取出來。
本文發表時在兩個數據集上達到了SOTA，並且對於跨度長的關係、重疊關係表現尤其好。
作者創造性的設計了一種標註方案(tag scheme)，拆分關係抽取任務，更巧妙的是，設計了位置注意力機制，將多個序列標註任務放在同一個BLSTM模型中同時訓練，讓我對注意力機制的理解更深了一層。
將混合CTC/Attention方法嵌入到Transformer結構中實現在線端到端的流式語音識別架構
論文名稱：TRANSFORMER-BASED ONLINE CTC/ATTENTION END-TO-END SPEECH RECOGNITION ARCHITECTURE
作者：Haoran Miao /Gaofeng Cheng /Changfeng Gao /Pengyuan Zhang /Yonghong Yan
發表時間：2020/1/15
論文鏈接：https://arxiv.org/abs/2001.08290
推薦原因
為了有效地解決在線流式語音識別問題，作者先前提出了一種以BILSTM為基礎結構的流式語音識別模型，本文是對上述的模型進行改進，一方面，採用transformer結構，並對其decoder的注意力模塊進行改造，以提高識別CER分數。另一方面，對先前提出的將語音輸入分割為chunks的方法進行改進，重用了部分重合的chunks的的hidden state，以減少識別耗時。
本文最終達到了23.66%的CER分數，並且僅有320ms的延時，同時，相對於離線的基線模型，CER分數僅損失了0.19%，大大提升了識別效果。
注：代碼不是本文的實現代碼，僅僅包含了本文改進的注意力機制部分。
基於人工反向修正數據的差異學習
論文名稱：LEARNING THE DIFFERENCE THAT MAKES A DIFFERENCE WITH COUNTERFACTUALLY-AUGMENTED DATA
作者：Divyansh Kaushik /Eduard Hovy /Zachary C. Lipton
發表時間：2019/9/6
論文鏈接：https://arxiv.org/abs/1909.12434
推薦原因
1 當前很多優秀的NLP模型，對數據中的虛假模式十分敏感，比如將文本分類模型中的關鍵詞用同義詞替代會使得模型效果大幅度降低，僅使用對話系統的問題或內容，在一些模型下，得到的結果與使用全部信息差別不大，等等。
2 針對以上問題，作者以一個情感分析和句子推理的數據集為基礎，在眾包平臺上招募作者對數據集進行反向修正，在儘量不修改樣本結構的情況下，讓樣本轉變相反的標籤，並以此為基礎在一系列機器學習和深度學習的模型上進行訓練，並且驗證了作者認為反向修正的數據集能提高模型對於虛假模式的表現的想法。
3 使用高質量的人工標註樣來讓人類看起來傻乎乎的機器學習模型更加聰明，應該有不少人在做了，我沒有做過相應的實驗，但是覺得這樣的做法很務實，其中用眾包的形式來採集修正數據的想法也很有意思。值得一提的是，儘管使用了修正數據讓模型能力提高了，但是對於基於bert預訓練的模型提升效果有限，可能一方面由於bert模型從大量預料中學到了一些對抗虛假模式的知識，另一方面作者採取的實驗是相對簡單的句子級別的分類，期待作者關於對話系統的下一步工作。
利用一種基於多屬性鄰近度的方法從可比較的新聞語料庫中挖掘事件
論文名稱：Mining News Events from Comparable News Corpora: A Multi-Attribute Proximity Network Modeling Approach
作者：Hyungsul Kim;Ahmed El-Kishky; Xiang Ren; Jiawei Han
發表時間：2019/11/14
論文鏈接：https://arxiv.org/abs/1911.06407
推薦原因
1.本文由韓家煒團隊所發表，針對現有的新聞文本資料繁多，並且存在大量噪音、大量重疊內容的現狀，提出了一種鄰近度網絡，利用其中大量重疊的內容，從時間、地點、相關人物、組織、以及事件之間的關聯等屬性的角度，定義了一種鄰近度（Proximity ）的方法，並以此為基礎從中提取相關關鍵信息，並且得到新聞預料的事件，並以直觀的圖像的形式表達出來。
2.使用多屬性的鄰近度來替代文本的語義信息，比其他基於數據挖掘的事件提取方法更有效。同時，抽取事件信息的同時，對特定新聞事件，生成了信息豐富的事件圖，事件的關鍵信息、事件之間的聯繫、聯繫的強弱，都被清楚的展示了出來。
Skip-Thought向量
論文名稱：Skip-Thought Vectors
作者：RyanKiros /YukunZhu /RuslanSalakhutdinov
發表時間：2015/6/22
論文鏈接：https://arxiv.org/pdf/1506.06726v1.pdf
推薦原因
skip-thought利用前後語句之間的關聯性來學句子的embedding. 其句子的表徵是用RNN來表示，模型先encode中間一個句子，然後用這個RNN的Output分別來decode前一個和後一個句子，直接類比於word2vec的Skip-gram的形式。
