「詞嵌入」和「注意力」的新發現獲得CoNLL 2018最佳論文獎

「词嵌入」和「注意力」的新发现获得CoNLL 2018最佳论文奖

雷鋒網 AI 科技評論按:國際語言學會(ACL)下屬的 SIGDAT 小組主辦的自然語言處理頂級會議 EMNLP 2018 即將於 10 月 31 日到 11 月 4 日在比利時布魯塞爾舉行,另一個也有不小影響力的會議,ACL 下屬的 SIGNLL 主辦的計算自然語言學習會議 CoNLL 2018 也將與 EMNLP 共同召開,時間為 10 月 31 日到 11 月 1 日。

10 月 30 日(美國時間 10 月 29 日),CoNLL 2018 大會公佈了論文獎。雷鋒網 AI 科技評論介紹如下。

最佳論文獎

Uncovering Divergent Linguistic Information in Word Embeddings with Lessons for Intrinsic and Extrinsic Evaluation

  • 從本徵評價和外部評價的對比中學習,揭開詞嵌入中包含的多樣化語言信息

  • 論文摘要:隨著單詞嵌入(word embeddings)近年來獲得巨大的成功,有人提出「並不存在完美的單詞表徵」的觀點,因為不同的模型總會傾向於捕捉不同的語言成分,有時候甚至是互相沖突的成分, 比如語義還是句法,以及相似度還是關聯性。在這篇論文中,作者們表明了每種詞嵌入模型捕捉的信息實際上都比直接體現出的要多。無需任何額外的資源,一個改變模型的相似性順序的線性變換就可以讓它在這些方面展現出更好的表現,這為我們提供了新的視角來理解嵌入對多種語言信息的共同編碼。除此之外,作者們也探索了本徵評價方法與外部評價方法之間的關係,他們發現所用的線性變換對後續任務產生的影響中,對於無監督學習系統產生的影響比有監督學習系統更大。

  • 論文地址:http://aclweb.org/anthology/K18-1028

特別獎 - 受人類語言學習和處理啟發法的最佳研究論文

Sequence Classification with Human Attention

  • 利用人類注意力的序列分類

  • 論文摘要:學習注意力函數需要非常大規模的數據,不過有很多自然語言處理任務都是對人類行為的模擬,在這篇論文中作者們就表明人類的注意力確實可以為 NLP 中的許多注意力函數提供一個不錯的歸納偏倚。具體來說,作者們根據人類閱讀語料時的眼睛動作追蹤數據估計出了「人類注意力」,然後用它對 RNN 網絡中的注意力函數進行正則化。作者們的實驗表明,人類注意力在大量不同的任務中都帶來了顯著的表現提升,包括情感分析、語法錯誤檢測以及暴力語言檢測。

  • 論文地址:http://aclweb.org/anthology/K18-1030

更多 CoNLL 2018 及 EMNLP 2018 報道,請繼續關注雷鋒網 AI 科技評論。


分享到:


相關文章: