尬聊求解：多任務聯合學習框架

下面，

轉播一則

災難現場

。。。

N+1分鐘後......

手滑星人求解

從技術角度分析，以上笑(慘)話(劇)主要由輸入法聯想功能對用戶下一詞的預判失誤引發。這一問題能不能得到解決呢？

自動化所提出一種新的用於對話理解的多任務聯合學習框架，同時對用戶意圖和語義槽標籤進行預測，精準預判用戶下一步即將輸入詞的詞性；並通過共享LSTM層，充分利用不同任務間的相關性，實現彼此間相互促進提升。ATIS數據集實驗表明該框架在多項常用指標上已達到最優水平。

對話理解原理解密

對話理解(Spoken Language Understanding, SLU)是對話系統的重要組件，主要包括意圖識別(Intent Determination)和語義槽填充(Slot Filling)兩個任務。

意圖識別指的是確定用戶的意圖，可以視作分類問題。傳統方法多使用最大熵模型(Maximum Entropy)或線性支持向量機(LinearSVM)來處理這一問題。語義槽填充指的是提取用戶話語中的語義成分，可以視作序列標註問題。傳統機器學習方法一般使用隱馬爾科夫模型(HMM)或條件隨機場(CRF)來處理這一問題。兩項任務通常分別進行。這兩項任務通常在對話理解系統中同時出現，並且都基於對用戶話語中語義含義的理解，因此它們可能會共享相同的信息。

近日，對槽填充任務和意圖識別任務進行聯合學習(Joint Learning)被實驗證明有效。本文提出的框架在對兩項任務進行聯合學習的基礎上，將詞性預測作為輔助任務，並在預測過程中使用意圖信息和語義成分信息。通過這樣的機制，在模型訓練時引入了額外的語義信息，因此可以更好地訓練神經網絡。

多任務聯合學習框架

該框架由嵌入層、LSTM層、槽填充層(Slot Filling Layer, SFL)、意圖識別層(Intent Determination Layer, IDL)及詞性預測層(POS Prediction Layer)組成。

在獲取到用戶輸入詞後，嵌入層將詞映射到向量空間，獲取代表語義信息的詞向量。當前的詞向量和上一時刻的意圖標籤、槽標籤一同作為LSTM層的輸入，並輸出代表當前狀態的語義表示。

意圖識別層和槽填充層使用當前狀態的語義表示作為輸入，並分別獲得當前時刻的意圖標籤和語義槽標籤。這兩層具有相似的結構，均由一個多層前饋神經網絡和一個柔性最大激活函數(Softmax)構成。當前時刻的意圖標籤和語義槽標籤連接(Concatenate)後，作為上下文信息傳遞給下一時刻得LSTM層。

詞性預測層也由多層前饋神經網絡和柔性最大激活函數構成，並且將當前時刻的語義表示、意圖標籤和語義槽標籤同時作為輸入，預測下一時刻用戶輸入詞的詞性。使用

、

、

分別代表真實的詞性標籤、意圖標籤和語義槽標籤(圖中使用

、

、

代表預測獲得的標籤)，根據鏈式法則，詞性標籤序列

的概率可以表示成如下的形式：(其中，

表示

時刻之前的所有詞)

實驗檢測看“療效”

我們在ATIS(Airline Travel Information Systems)數據集上進行實驗，結果表明：該框架在多項常用指標上達到了最優水平(State-of-the-art)。

ATIS數據集由航空旅行信息系統收集的真實對話構成，在SLU研究中被廣泛使用。該數據集包含4978條對話、127種不同的槽標籤和18種不同的意圖標籤。為了方便比較，我們使用三種指標來衡量實驗效果：意圖識別錯誤率(Intent Error Rate)、槽填充F1值和語言模型複雜度(LM PPL)。

由實驗結果可以看到，本框架(第16、17行)在意圖識別錯誤率和語言模型複雜度兩個指標上優於所有其他模型；槽填充F1值超過了所有聯合學習模型(第6至15行)，略低於獨立槽填充模型(第4行)。考慮到聯合學習框架可以同時對多個任務進行訓練，提供了極大便利，我們認為該框架的整體表現是十分優秀的。

小結

本文提出的用於自然語言理解的多任務聯合學習框架，將預測用戶意圖標籤和語義槽標籤作為主任務，將預測下一個詞的詞性標籤作為輔助任務；通過共享的LSTM層，該框架可以充分利用不同任務之間的相關性，實現彼此間相互促進提升。