BERT在問答x系統（Q&A）中的應用
題目：
Predicting Subjective Features from Questions on QAWebsites using BERT
作者：
Issa Annamoradnejad, Mohammadamin Fazli, Jafar Habibi
來源：
Submitted on 24 Feb 2020 (v1), last revised 30 Jun 2020 (this version, v3)
2020 6th International Conference on Web Research (ICWR), Tehran, Iran, 2020, pp. 240-244
回覆 ：nlp01
5秒免費獲取論文pdf文檔，及項目源碼
QA Websites BERT：摘要
社區問答網站，如StackOverflow和Quora，希望用戶遵循特定的指引來保持內容質量。這些系統主要依靠社區報告來評估內容，這會存在嚴重的問題，如違規處理緩慢，部分報告質量不高，這會浪費合法用戶和有經驗的用戶的時間，對新用戶反饋不積極等。因此，
我們的總體目標是在問答網站中為自動調節行為提供解決方案，提供一個模型來預測QA網站中問題的20個質量或主觀方面。為此，我們使用了谷歌Research的眾包團隊在2019年收集的數據和預先訓練好的BERT模型來解決我們的問題。通過均值平方誤差(Mean-Squared-Error, MSE)評估，模型在2個epoch的訓練後得到了0.046的值，在接下來的1個epoch中沒有明顯的改善。結果表明，通過簡單的微調，我們可以在較短的時間和較少的數據量上獲得準確的模型。
ALBERT: 語言表徵的自監督學習
題目：
ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
作者：
Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, Radu Soricut
來源：
Submitted on 26 Sep 2019 (v1), last revised 9 Feb 2020 (this version, v6)
Computation and Language (cs.CL); Artificial Intelligence (cs.AI)
回覆 ：nlp02
5秒免費獲取論文pdf文檔，及項目源碼
ALBERT:摘要
在預訓練自然語言表示時增加模型大小通常會提高下游任務的性能。但是，由於GPU / TPU內存的限制和更長的訓練時間，在某些時候進一步增加模型變得更加困難。為了解決這些問題，
我們提出了兩種參數減少技術，以降低內存消耗並提高BERT的訓練速度。 全面的經驗證據表明，與原始BERT相比，我們提出的方法使得模型可擴展性更好。我們還使用了一種自我監督的損失，該損失著重於建模句子間的連貫性，並表明它可以幫助多句子輸入的下游任務。因此，我們的最佳模型在GLUE，RACE和\ squad基準上建立了新的最新結果，同時與BERT-large相比具有更少的參數。該代碼和預訓練的模型可從此https URL獲得。 TaBERT: 對文本數據和表格數據進行聯合理解的預訓練
題目：
TaBERT: Pretraining for Joint Understanding of Textual and Tabular Data
作者：
Pengcheng Yin, Graham Neubig, Wen-tau Yih, Sebastian Riedel
來源：
Submitted on 17 May 2020
Appear at ACL 2020
Computation and Language (cs.CL); Machine Learning (cs.LG)
回覆 ：nlp03
5秒免費獲取論文pdf文檔，及項目源碼
TaBERT:摘要
近年來，針對基於文本的自然語言(NL)理解任務的預訓練語言模型(LMs)蓬勃發展。這樣的模型通常是在自由形式的NL文本上訓練的，因此可能不適合執行像結構化數據語義解析這樣的任務，這需要
對自由形式的NL問題和結構化表格數據(如數據庫表)進行推理。在本文中，我們提出TaBERT，一個預先訓練的LM聯合學習NL句子和(半)結構表的表示。泰伯特在2600萬個表及其英語語境的大型語料庫上接受訓練。在實驗中，使用TaBERT作為特徵表示層的神經語義解析器在具有挑戰性的弱監督語義解析基準WikiTableQuestions上取得了新的最佳結果，而在文本- sql數據集Spider上的表現則具有競爭力。模型的實現將在這個http URL中可用。
BERTology與生物學：解釋蛋白質語言模型中的注意力
題目：
BERTology Meets Biology: Interpreting Attention in Protein Language Models
作者：
Jesse Vig, Ali Madani, Lav R. Varshney, Caiming Xiong, Richard Socher, Nazneen Fatema Rajani
來源：
Submitted on 26 Jun 2020
ACM classes: I.2
Computation and Language (cs.CL); Machine Learning (cs.LG);
回覆 ：nlp04
5秒免費獲取論文pdf文檔，及項目源碼
BERTology與生物學：摘要
Transformer架構已經被證明可以學習蛋白質分類和生成任務的有用表示。然而，這些表述在可解釋性方面提出了挑戰。通過關注的透鏡，我們分析了Transformer的內部工作，並探索了該模型如何識別蛋白質的結構和功能特性。我們表明,注意(1)捕獲蛋白質的摺疊結構,連接氨基酸遠的基本序列,但空間三維結構,(2)目標結合位點,蛋白質的重要功能組成部分,(3)集中在越來越複雜的生物物理屬性與混合層深度增加。我們還提出了一個三維可視化的相互作用之間的注意力和蛋白質結構。我們的發現符合已知的生物過程，並提供了一個工具，以幫助發現蛋白質工程和合成生物學。用於可視化和分析的代碼可在此https URL中獲得。
