來自中山大學、哈爾濱工業大學以及商湯科技公司的研究人員聯合提出了一種名為「雞尾酒網絡」（DCTN）的深度遷移學習框架，將現有的單源域適應過程推廣到了更加真實和通用的多源域適應場景。DCTN 啟發於 2009 年 Y. Mansou [1] 的源分佈結合律（source distribution combining rule）。具體而言，DCTN 通過多路對抗機制學習領域無關的特徵表達，依據對抗相似性分數作為多源分佈結合律的權重和各自的源分類器合作從而對目標域樣本進行聯合識別，並使用高置信度的偽標註樣本對特徵表達進行再適應從而引入更強的判別性能。實驗中，DCTN 在 Office31, Image-CLEF 以及新提出的基於同時遷移四個數據源的 Digit-five 評測數據集上均取得了比較顯著的性能提升。該論文已經被 CVPR 2018 大會接收。
一、簡介
隨著大規模數據的不斷產生和依靠人力進行信息標註的困難，域適應遷移方法逐漸成為機器學習領域中一項非常重要的研究課題。域適應學習旨在適配不同領域數據間的特徵分佈，提升不同領域間分類器遷移後的性能表現，解決目標域數據缺乏標註信息的難題。域適應遷移學習同時也是工業界的一項關鍵技術手段，在人臉識別、自動駕駛和醫學影像等垂直領域均具有較強的應用需求。比如在自動駕駛領域，如何最小化虛擬環境與真實環境、其他城市和當前城市的領域偏差？又比如在醫學影像領域，如何綜合利用多源醫療影像給出全面診斷？這些都是領域遷移學習極具應用潛力的場景。
值得注意的是，我們在生活中搜集到的數據源往往是來自各種渠道的。不同渠道的得到的數據源分別與目標域的數據存在偏移現象，而且這些數據源之間也存在偏移。一種更值得廣泛考慮的情況是，多個數據源之間的類別也具有差異性，這對多源遷移學習帶來了新的挑戰 (單源域適應與多源域適應的區別於聯繫見圖 1)。然而，雖然深度遷移學習已經在單領域適應問題上取得各種研究進展，如何運用深度網絡去解決多領域適應問題目前依然處於接近空白的階段。
圖 1.（a）單元域適應；（b）多源域適應
二、雞尾酒背後的理論驅動
多數據源的遷移學習研究可以追溯到 J. Blitzer [1] 和 Y. Mansour [2] 的理論工作。其中 [1] 提出了第一個多源遷移學習的學習上界，為以後的多源域適應學習模型設計打下了基礎；[2] 則提出了遷移目標域分佈由多個源域分佈混合組成。基於這種設定下，他們提出了源分佈結合律（source distribution combining rule）。直觀而言，他們認為不同的源域學習應該具有自己的分類器，而非使用一個單一分類器去統一所有源域與目標域分類結果。同時，不同源域跟目標域之間分別有相似度，那麼與目標域更相似的源域，它的分類器對於目標域的數據進行分類的結果應該更可信。根據以上兩點，目標域的分類結果應該由多個源域的分類結果加權而成，而每個源分類權重應該要反映對應源域與目標域的相似性。
三、雞尾酒網絡（Deep CockTail Network）
圖 2. 雞尾酒網絡 DCTN
為滿足多源分佈結合律，我們提出 Deep CockTail Network（雞尾酒網絡 DCTN）。在圖 2 的具體數據流中，我們利用共享特徵網絡對所有源域以及目標域進行特徵建模，然後利用多路對抗域適應技術（基於單路對抗域適應（adversarial domain adaptation）下的擴展，對抗域適應的共享特徵網絡對應於生成對抗學習 (GAN) 裡面的生成器），每個源域分別與目標域進行兩兩組合對抗學習域不變特徵。同時每個源域也分別進行監督學習，訓練基於不同源類別下的多個 softmax 分類器。注意到，基於對抗學習的建模，我們在得到共享特徵網絡的同時，也可以得到多個源分別和目標域對抗的判別器。這些判別器在對於目標域的數據，可以分別給出與每一個源域之間的混淆分數（perplexity score）去衡量該源域與目標域之間的相似性。因此，對於每一個來自目標域的數據，我們首先利用不同源下的 softmax 分類器給出其多個分類結果。然後，基於每一個類別，我們找到包含該類別的所有源域 softmax 分類概率，再基於這些源域與目標域的混淆分數，對分類概率取加權平均得到每個類別的分數。簡而言之就是，越跟目標域相識的源域混淆度會更高，意味著其分類結果更可信從而具有更高的加權權值。需要注意的是，我們並沒有直接作用於所有 softmax 分類器上反而是基於每個類別分別進行加權平均處理。這是因為在我們的假設下，每個源的類別不一定共享，從而 softmax 結果不能簡單相加。當然，我們的方法也適用於所有源共享類別的情況，這樣我們的公式會等價於直接將 softmax 分類結果進行加權相加。
考慮到不同源域數據分佈間的差異性，某些源域的樣本對提升目標域分類性能有較大的正向遷移表現，而有些源域的樣本域適應性能則較弱甚至帶來相對的負面遷移影響。為此，我們設計瞭如下基於域間困難樣本的梯度回傳策略，具體可參考圖 3 的算法流程。
圖 3. 域間困難樣本的梯度回傳策略
基於多路對抗域適應下，我們進一步提出分類再適應機制。我們基於各源域的分類器和對抗相似性分數對目標域圖片進行識別，選取高置信度的目標域偽標記樣本微調特徵提取器和多源分類器。如此下兩個域適應學習進行交替迭代直至模型收斂。整個 DCTN 的訓練可參考圖 4 的算法流程。
四、實驗
圖 4. DCTN 的學習過程
論文在 Office-31、ImageCLEF 等主流域適應數據集上進行了實驗。其中 Office-31 數據集來自 Amazon(電商圖片)、Webcam(網絡攝像頭拍攝圖片)、DSLR(單反相機拍攝圖片) 三個視覺領域，共包含 4652 張圖片 31 個類別標籤。論文以單源最佳模型、多源合併模型等作為評測標準，與 DAN、RevGrad 等流行算法進行了充分對比。
多源域適應框架在 Office-31 和 ImageCLEF 數據集上的分類準確率
除了常規的域適應設置，我們還進行了包含類別偏差的實驗探索。仍然以 Office-31 數據集為例，令兩個源域分別包含前三分之二和後三分之二的類別標籤，據此進行多源域適應過程，對目標域的圖片類別進行預測。
類別偏差設置下在 A,D→W 任務上的分類準確率
類別偏差設置下在 I,P→C 任務上的分類準確率
最後，我們構建了四對一的多源遷移學習任務標準 Digit-five，同時給出在該多源遷移學習標準下的兩個多源域適應任務結果。我們可以看出 DCTN 明顯優於目前主流的深度遷移學習算法。
論文：Deep Cocktail Network: Multi-source Unsupervised Domain Adaptation with Category Shift
項目鏈接：http://www.sysu-hcp.net/deep-cocktail-network/
閱讀更多 機器之心Pro 的文章
