論文：Maximum Classifier Discrepancy for Unsupervised Domain Adaptation
會議：CVPR2018, Oral
研究任務： Unsupervised Domain Adaptation
通過帶標籤的source domain的圖片和標籤訓練得到一個網絡模型，利用target image 進行domain adaptation 操作，使得source domain訓練的網絡模型也能夠應用在target image上。
關於這個研究任務具體是研究什麼的，具體請參考以前的文章
當前使用的方法：
如下圖，一般的分類或者分割網絡包括下采樣的特徵生成模塊和分類模塊，圖片輸入網絡，通過特徵生成模塊提取為圖片特徵，再利用分類模塊預測圖片的類別，利用已有的標籤對網絡進行訓練。
這個網絡在分類網絡的基礎上添加了一個判別網絡，主要利用對抗學習來對齊兩個數據集圖片特徵的分佈，只要圖片特徵的分佈一樣，那麼源域圖片訓練的分類器也就可以應用在目標域圖片上了，這樣是不是就可以減輕數據集之間差異帶來的問題。
但是，作者認為，這種方法存在一點問題。
1）它僅僅對齊圖片特徵的分佈，並沒有考慮類別邊界，我們使用的分類器是完全由源域圖片訓練得到的。
這樣可能導致，目標圖片通過特徵生成模塊，可能生成類別模糊的特徵，也就是，如上圖左圖中，在分類邊界出現一些分類錯誤的特徵。
2）由於每個數據集的特徵，使得不能完全對齊
這篇文章主要就是希望解決這個問題，他提出了使用兩個獨立的分類模塊，通過訓練從而具有不同特點，那些類別模糊的特徵通過兩個不同分類器可能會被分為不同的類別，如圖片中看見的分類矛盾的陰影區域，作者希望通過度量並且最小化這種分類矛盾區域，來解決這個問題，得到比較好的分類結果。
關於符號
網絡結構
首先，看一下他的網絡，與一般的網絡（上述網絡）不同，它由一個特徵生成器和兩個獨立的類別分類器構成。
訓練過程
訓練的過程中，第一步，我們利用有標籤的源域圖片和標籤訓練特徵生成器和兩個分類器，利用分類Loss來優化他們。兩個分類器，使用不同的方法初始化，並且獨立訓練，得到兩個不同的分類器。
Step A : Train on source
通過第一步，我們可以得到兩個不同的分類器，像我們之前說的，這兩個分類器，可能會將來自目標圖片的類別模糊的特徵分類為不同的類別，如上面這幅圖中表示。
我們將兩個分類器之間的分類不一致定義為兩個分類器預測的分值的差的絕對值，如上面這個公式，分類差異
第二步，我們固定特徵生成器的參數，通過最大化分類差異，來訓練兩個分類器，保證分類準確同時又突出類別模糊的特徵。
通過第二步訓練，我們最大化了兩個分類器之間的差異，如第二幅圖展示的
第三步，我們固定兩個分類器的參數，通過最小化分類差異，來優化特徵生成器。
通過這三步的迭代訓練，我們希望最終，源域和目標域圖片通過特徵生成器得到的特徵更加相近，使得兩個分類器的分類一致，檢測不出兩個數據集之間的類別差異。這樣我們就完成了我們的訓練。
結果
這篇論文在分類和分割兩個任務上進行實驗，實驗結果如下所示
classification：
Experiments on Semantic Segmentation (GTA5 to Cityscapes)
總結
利用兩個獨立的分類器對齊源域和目標域圖片特徵分佈
（1）利用源域圖片訓練特徵生成器和分類器
（2）利用目標域圖片最大化分類差異訓練兩個分類器
（3）利用目標域圖片最小化分類差異訓練特徵生成器
（4）多次迭代訓練
（5）最終使得特徵生成器生成的特徵越來越接近，消除分類差異
閱讀更多 AI深度學習求索 的文章
