論文翻譯 / 貓頭鷹老師
文章創作 / 小薩老師
本文是小薩老師國際學校 100 講的第 058 講
導語
大家有沒有好奇過，在寫作部分，ETS 如何打分？怎麼寫託福作文，才能符合 ETS 的評分標準？託福寫作改卷人的喜好，有沒有破譯的可能？
今天，山丘英語教研組的小薩老師（學霸山丘 CEO）和貓頭鷹老師（北大本科、康奈爾大學碩士）為你解答這 3 個問題。
他們的回答來自 ETS 官方發表的改卷技術論文。
一、打分方式
我們首先聊聊託福寫作打分方式。一篇託福作文，通常由兩位判卷“人”打分，一位是 E-rater 機器“人”，一位是真人，一般是美國高中的英語老師或英語語言專業的博士生。
我們熟悉的託福作文分數範圍是 0 到 30 分，但判卷人不是按照這個範圍來給分。
判卷人是先按照 0 到 5 分的打分範圍來給分——給一個原始分。最終，ETS 再根據一個公式，把這個原始分轉化成 0 到 30 的標準分——也就是你在成績單上看到的分數。
為什麼要搞如此複雜？
簡單來說，因為 0 到 30 分這種分數範圍，能打的分值太多，容易出偏差。
舉個例子，如果你是打分人，你能很好地區分 27 分的作文和 28 分的作文嗎？
剛剛我們提到，兩個判卷人中有一個是機器人，叫 E-rater 。
那它是如何被設計出來的呢？知道這個問題的答案後，你就能離託福寫作高分更近一步了，因此下面的內容你要認真閱讀。
ETS 通過自然語言處理 (NLP) 人工智能技術，分析了幾百篇人工打分的文章，提取出可以被計算機（人工智能）識別的重要元素。
然後，ETS 會基於這些元素建立計算機打分模型，也就是 E-rater 打分時使用的模型。
聽著似乎是黑科技，準確率無懈可擊，但真實情況是，E-rater 有爭議，需要繼續升級。更重要的是，E-rater 技術是可以被考生“操控”的。
為什麼能被操控呢？因為 E-rater 喜歡什麼樣的文字，不喜歡什麼樣的文字，標準都非常清楚。
也就是說，託福寫作高分作文完全是模式化的。
二、E-rater 的評分標準
我們剛剛瞭解了託福寫作打分方式和 E-rater 的簡史，現在，讓我們一起熟悉 E-rater 的工作原理：它在打分時，到底會關注考生作文的哪些點？
簡單來說包括以下這些點：語法、慣用語、結構、風格、文章的整體結構、行文的發展、詞彙複雜性、重要詞彙的運用。
在本文中，我們來解讀這些點中，最值得你關注的，也是最能起到立竿見影提分效果的。
1. 語法和句法
E-rater 對以下幾種語法錯誤最敏感：指代不一致、動詞形式不對、錯誤用詞、標點、拼寫錯誤。
E-rater 討厭下面幾種句子：過長或過短的句子、被動句、過度重複使用之前詞彙的句子。
2. 結構
在文章結構的審美標準上，E-rater 就像一個篩子一樣，只過濾出某種特定形狀（結構）的作文。
E-rater 最喜歡這樣的文章，一個主論點，三個分論點。分論點多於 3 個不會加分，少於 3 個要減分。
也就是說，在結構上，E-rater 希望看到你把文章寫成這樣：
寫五段。開頭段有引入，然後明確表達主論點。
三段的段首有分論點的主題句，然後展開舉例子。
第五段，總結全文，也就是我們常說的結尾段。
3. 詞彙複雜性
E-rater 會給詞彙評級。如果考生寫的文章裡，出現的高階詞彙比較多、詞的平均字母數比較長，會有加分。
4. 重要詞彙
什麼是重要詞彙？就是與題目相關的詞彙，高分文章常用的詞彙。
E-rater 認為，針對每道具體的題目，好的文章中都會出現一些共同的詞彙。
所以，它會根據這些詞在你文章中出現的頻率，來給你一個分數。ETS 專門設計了一個算法來讓 E-rater 能做到這一點。
三、託福寫作分數高
不等於寫作能力強
剛剛帶大家拆解了 E-rater 的評分標準，但這不代表我們（學霸山丘）就認可它評判學生寫作水平的作用。
E-rater 作為託福寫作考試的改卷人，的確是稱職的，但考生託福寫作分數高，不等於寫作能力強。
畢竟，E-rater 判出來的高分文章，機器也能寫。
為了幫學生應試，我們有研究 E-rater 的必要，但這些研究成果都只會用於應試，用於我們的託福課程的教學和作文批改。
我們的寫作教學長期目標，是要培養孩子寫出那種機器寫不出來的東西，而不是成為人工智能時代的附庸。
好的，今天就寫到這。我是小薩老師，我的微信二維碼如下。我會在朋友圈裡分享國際教育、託福、SAT 有關的內容。另外，每天，我們有 3 個免費批改託福作文的名額，可以留言“批改”獲取機會哦。
如果你是第一次考託福，我們的托福考點系列一定適合你，點擊“瞭解更多”可以在文末獲取。
歡迎關注我們，第一時間閱讀更新內容。
閱讀更多 學霸山丘 的文章
