號外！又一撥頂會論文乾貨來襲！
據芯君瞭解，本次預講會在學術圈的火爆程度完全超出了主辦方的想象，開放報名的短短几天就全面滿額了，以至於主辦方不得不設定條件篩選參會者。
讀芯君作為本次預講會的活動媒體，將全程跟隨大會，為大家全程紀錄活動中最前沿的觀點，最有價值的成果，並特邀預講會論文報告者聯合為讀者朋友們推出預講會系列組文，向你展示頂會最新論文成果。
ACL 2018
TDNN: 一個面向主題獨立自動作文評分的兩階段深度網絡
TDNN: A Two-stage Deep Neural Network for Prompt-independent Automated Essay Scoring
中國科學院
Chinese Academy of Sciences
【簡介】學生作文通常是根據某一給定主題寫作完成，不同主題對應的作文通常在詞彙的使用、文章結構等方面都不同。因此，對於一個自動作文評分模型而言，在一個主題的已評分作文數據集上訓練，然後在另一個主題的作文數據集上進行預測，這很難得到一個比較好的預測結果。現有的大多數研究都是在相同的已評分作文數據集上進行模型的訓練和預測，它們使用了許多與主題相關的特徵，如與主題的相關程度、主題詞的tf-idf權重等等，這導致了訓練得到的模型很難泛化到其它不同主題的作文數據集。為了解決上述問題，本文提出了一種名為TDNN兩階段的自動作文評分算法，首先在不同主題的已評分作文數據集上用主題無關的特徵訓練一個自動作文評分模型，然後利用該模型給目標主題的每篇作文打一個偽標記的分數；在第二階段中，從目標主題中選出偽標記分數在兩個極端的作文作為正樣本和負樣本，然後在此基礎上訓練一個深度神經網絡模型，用該模型為目標主題的每篇作文打分作為最終的預測分數。實驗結果表明本文提出的TDNN兩階段的自動作文評分算法與baseline相比具有一定的提升。
1 貢獻
1、提出了一個兩階段的學習框架來解決缺乏目標主題訓練數據的情況下自動作文評分模型的學習問題。
2、提出了一個新的深度神經網絡自動作文評分模型，該模型考慮了作文的語義、詞性和語法結構特徵。
3、第一個專門解決主題無關場景下自動作文評分問題的方法，而且在標準數據集ASAP上的實驗表明了方法的有效性。
2 方法
本文提出的TDNN算法的框架如圖1所示，主要分為主題無關階段和主題相關階段。在本文提出的框架中，首先在其它主題的已評分數據集上訓練一個排序模型，僅僅使用主題無關的特徵，希望在不考慮作文的主題的情況下對作文進行一個初步的評價。具體地，本文在7個不同主題的已評分作文訓練數據集上訓練一個RankSVM模型，使用多個主題的原因是為了避免模型過擬合特定的主題。訓練好的RankSVM模型為每篇目標主題作文評分，評分變換到[0-10]，然後選擇分數分別在[0-4]和[8-10]的目標主題作文作為負的偽樣本和正的偽樣本，它們將作為下一階段的訓練數據。
直觀上，大部分作文的質量處於兩個極端的中間，想要做出準確的評價需要對它們有一個比較好的理解，使得主題相關信息的考慮顯得比較重要。為了實現這個目標，本文用一個深度神經網絡模型來區分處於兩個極端的目標主題作文，訓練數據由上一階段得到，希望通過訓練使得網絡能夠記住一篇好的作文有哪些特性。提出的深度神經網絡模型如圖2所示，模型由3個部分融合而成，即語義部分。
詞性標註部分和語法結構部分，語義部分和詞性標註部分將分別用雙向LSTM依次得到句子和作文的表示，語法結構部分別用雙向LSTM依次得到短語、句子和作文的表示。最後三部分得到的作文表示連接作為最終的作文表示，由全連接層映射後輸出作文的評分。
3 實驗結果
本文使用自動作文評分數據集ASAP，數據集包含了8個不同的主題的作文，實驗採用了8折交叉驗證的方式，評價指標採用二次加權Kappa、Pearson係數和Spearman係數。實驗結果如下表所示：
如上表所示，本文提出的方法在大部分情況下效果的提升都較為明顯。可以看到第二階段深度神經網絡的三個部分中，語法結構部分有重要的作用，它與語義部分組合能夠得到最好的結果。
閱讀更多 讀芯術 的文章
