Gmail 的智能預測拼寫功能：Smart Compose 技術原理詳解。
AI 科技評論按：在 Google I/O 2018 上，除了 Google 助手給餐館打電話的場景贏得現場觀眾的喝彩外，在用戶寫郵件時可預測下一句的 Smart Compose 技術同樣也引得眾人歡呼。近期，谷歌大腦團隊首席軟件工程師 Yonghui Wu 在 Google AI Po 出了這篇詳細介紹 Smart Compose 原理的博文， AI 科技評論將其內容編譯如下。
Google I/O 2018 上，谷歌介紹了 Gmail 中的一項新特性，智能預測拼寫功能：Smart Compose，該新特性利用機器學習，交互式地為正在寫郵件的用戶提供補全句子的預測建議，從而讓用戶更快地撰寫郵件。Smart Compose 基於此前智能回覆（Smart Reply）技術開發而來，Smart Compose 提供了全新的方式來幫助用戶撰寫郵件，無論用戶是在回一封來件還是從草稿箱起草一封新郵件。
谷歌在開發 Smart Compose 的過程中，遭遇到了以下這些關鍵挑戰：
延遲：因為 Smart Compose 需基於用戶的每一次輸入來提供預測，所以它必須提供 100 毫秒以內的理想預測，這樣用戶才察覺不到任何延遲。這時候，平衡模型複雜性和推理速度就成了一個需要解決的關鍵難題。
用戶規模：Gmail 擁有超過 14 億的各種用戶。為了面向所有用戶提供自動組句預測，模型必須擁有足夠強的建模能力，這樣它才能精細地在不同上下文中提供定製建議。
公平性和用戶隱私：在 Smart Compose 的開發過程中，谷歌需要在訓練過程中處理潛在偏倚的來源，並遵守像 Smart Reply 功能一樣嚴格的用戶隱私標準，以確保模型不會暴露用戶的隱私信息。另外，谷歌的研究人員也不具備查看用戶郵件的權限，這意味著他們不得不在一個自己都無法查看的數據集上開發和訓練一個機器學習系統。
找到對的模型
比如 ngram，neural bag-of-words（BoW）和 RNN language 這種典型的語言生成模型，它們是基於前綴詞序列來預測下一個詞的。然而，在一封郵件中，用戶在當前郵件撰寫會話中打下的單詞會給模型一個信號，模型會利用該信號來預測下一個單詞。為了結合更多用戶想表達的上下文，谷歌的模型還會利用郵件主題和此前的郵件正文（假設用戶正在回覆一封剛剛收到的郵件）。
谷歌的方法是包含利用額外語境的一個方法，該方法是將問題轉換成一個序列到序列（seq2seq）的機器翻譯任務，其中源序列是郵件主題和上封郵件正文（假設存在上封郵件）的串聯，用戶正在寫的郵件是目標序列。儘管該方法在預測質量上表現良好，但它的延遲要比谷歌嚴苛的延遲標準超出了好幾個量級
為了提高預測質量，谷歌將一個 RNN-LM 神經網絡與一個 BoW 模型結合起來，結合後的模型在速度上比 seq2seq 模型要快，且只輕微犧牲了預測質量。在該混合算法中，谷歌通過把詞嵌套們平均分配在每個區域內，來對郵件主題和此前的郵件內容進行編碼。隨後谷歌將這些平均分配後的嵌套連接在一起，並在每次執行解碼步驟時將它們提供給目標序列 RNN-LM，過程如下面的模型圖解。
Smart Compose RNN-LM 模型架構。將郵件主題和此前郵件信息進行編碼，採用的方法是將它們的詞嵌套平均分配在每一個區域內。隨後，平均後的嵌套會在每次執行解碼步驟時提供給目標序列 RNN-LM。
加速模型訓練和服務
當然，一旦選定了這種建模方法，谷歌就必須調整各種模型超參數和使用超過數十億的樣本來訓練這些模型，所有的這些操作都相當費時。為了實現加速，谷歌使用了一個完整 TPUv2 Pod 來執行實驗。在這情況下，谷歌能夠在一天之內將一個模型訓練至收斂狀態。
在谷歌訓練出速度上更快的混合模型之後，初始版本的 Smart Compose 在一個標準 CPU 上運行時，依舊存在幾百毫秒的平均服務延遲，這與 Smart Compose 努力預測語句來幫用戶節省時間的特點是不相符的。幸運的是，谷歌可在推斷期間使用 TPU 來大大地加速用戶體驗，通過分流 TPU 之上的大部分計算，谷歌可以將平均延遲改良至幾十毫秒，同時也能大大增加單一機器可處理的服務請求數量。
公平性和隱私
由於語言理解模型會反映人類的認知偏倚，這樣會導致得到多餘的詞彙聯想和句子完成建議，所以在機器學習內實現公平至關重要。Caliskan et al. 在他們近期的「Semantics derived automatically from language corpora contain human-like biases」論文中指出，模型的詞聯想深陷於自然語言數據的偏倚數據中，這為打造任何一個語言模型都帶來了相當的挑戰。在模型訓練過程中，谷歌積極地尋找方法來持續降低潛在的偏倚。另外，由於 Smart Compose 是基於數十億的短語和句子進行訓練，這與垃圾郵件機器學習模型的訓練方法一致，谷歌已經進行了廣泛的測試來確保，模型只記憶多種用戶都使用的常識語句，關於常識語句的調查結果源自這篇論文 The Secret Sharer: Measuring Unintended Neural Network Memorization & Extracting Secrets（https://arxiv.org/abs/1802.08232）。
未來研究
谷歌將持續地研究改良語言生成模型的預測質量，為此谷歌會通過使用最先進的構架（如 Transformer，RNMT+等）和試用最新、最先進的訓練技術來實現這一目標。一旦模型的實驗結果滿足了谷歌的嚴格延遲約束條件，谷歌就會把這些更加的先進模型部署到自家產品上去。另外，谷歌還在進行結合個人語言模型的研究，該模型的目的是給系統增加一個新特性，讓它能夠更加準確地模擬每個用戶自己的寫作風格。
via Google AI Blog， AI 科技評論編譯。
CCF - GAIR 2018 將於
6 月 29 日 至 7 月 1 日
在深圳舉行。
三天議程及強大陣容已經陸續出爐。
6 月 8 日，
AI 科技評論啟動了
CCF-GAIR 2018 的免費門票申請通道，
並計劃從中篩選 20 位學生，
承包「國內往返機票+四晚住宿」 的
AI 科技評論讀者專屬福利。
福利發出後，
表單如海水一樣湧入後臺系統，
截至 6 月 14 日晚 24 點，
第一批申請表單已經截止申請，
同事們最近也都在加班加點審核表單。
在此，
AI 科技評論由衷感謝
同學們對 CCF-GAIR 大會的關注！
從眾多申請之中，
AI 科技評論甄選了 12 名學生，
他們將成為第一批獲得
價值 3999 元 CCF-GAIR 2018 大會門票
及
「國內往返機票+四晚住宿」福利的同學！
但是！
我們的福利申請並沒有結束！
從 6 月 15 日 0 時開始，
AI 科技評論將開啟第二批福利申請通道，
將繼續篩選 8 名同學贈送價值 3999 元 CCF-GAIR 2018 大會門票
及「國內往返機票+四晚住宿」福利！
本福利申請截至 6 月 21 日晚 24 點，
預計將於 6 月 22 日公佈獲獎名單。
填寫個人信息申請！
與此同時，
暫時沒有入選第一批名單的同學們也不需要灰心，
我們也會在所有提交申請的同學中，
篩選部分學生
陸續進行一對一聯繫，
贈送價值 3999 元的 CCF-GAIR 大會門票。
（此門票包含三天午餐喲！）
贈票申請通道截止日期為
6 月 26 日晚 24:00
6 月 29 日至 7 月 1 日，深圳見！
贈票申請須知
➤ 截止日期：6 月 26 日晚 24:00
➤ 活動解釋權歸雷鋒網 AI 科技評論所有
閱讀更多 AI科技評論 的文章
