CVPR2018|Domain Adaptation Segmentation-AdaptSegNet詳解

Learning to Adapt Structured Output Space for Semantic Segmentation

會議

:CVPR2018

任務:domain adaptation segmentation

任務詳解:domain adaptation segmentation使用已有像素級別標籤的gta5數據集(遊戲場景圖片)訓練分割網絡,然後利用這個分割網絡分割現實場景圖片。雖然source domain(遊戲場景)和Target Domain(現實場景)在圖片外觀上有較大差異,但是在分割標籤上具有一定相似性。

CVPR2018|Domain Adaptation Segmentation-AdaptSegNet詳解

根據source Domain訓練的網絡,輸入target domain 的圖片It也能生成粗糙的分割結果Pt,但從結果中可以看到分割結果中存在很多噪聲。這被稱為domain shift.

CVPR2018|Domain Adaptation Segmentation-AdaptSegNet詳解

目前domain adaptation segmentation方法大多研究如何減小domain shift,使得可以使用遊戲場景圖片訓練得到的模型分割現實場景中的圖片。

論文方法:

①使用source Domain的images和label對Segmentation Network進行全監督訓練得到訓練好的分割模型,對於訓練完成的網絡,輸入source domain 的圖片Is可以輸出預測的分割標籤Ps。

②將target domain的Images 輸入分割網絡得到初步的分割標籤Pt。

③將現實圖片得到的初步分割結果Pt和遊戲場景圖片分割結果Ps輸入判別器網絡進行判別訓練,期望最終得到的Pt和Ps分佈接近,從而消除Pt中的噪聲獲得比較好的分割結果。

網絡架構:

CVPR2018|Domain Adaptation Segmentation-AdaptSegNet詳解

使用判別器進行訓練,目標使得target domain中的Pt和source domain 中的Ps,具有相近的分佈,從下圖結果中可以看到該方法平滑了很多噪聲。

CVPR2018|Domain Adaptation Segmentation-AdaptSegNet詳解

總結:這篇論文通過domain adaptation 的方法,使得target domain中的圖片可以生成較好的具有Ps分佈特性的分割結果,但是網絡也只能學到Ps分佈中物體佈局的特性,例如可以很好的平滑噪聲,但是對於物體分割的邊界,則存在一定的誤差。


分享到:


相關文章: