論文：Weakly-Supervised Semantic Segmentation Network with Deep Seeded Region Growing
會議：CVPR2018
DSRG方法遵循SEC方法的三個規則，具體見參考更多中SEC的詳解文章（以前的一篇文章）
SEC原則
1）Seed:利用分類網絡獲取物體定位信息，生成segmentation seeds
2）Expand:通過網絡訓練以及迭代擴展seed 區域
3）Constrain:限制segmentation map的邊界，輸出分割結果
4）迭代訓練：迭代過程中不斷優化分割結果（DSRG）
DSRG方法介紹
DSRG方法與相關技術中提到的SEC方法類似，是在SEC方法的基礎上進行改進得到的。由於SEC方法在訓練過程中種子區域始終是初始種子區域，屬於靜態監督設置，偏離了語義分割任務的要求，因需要準確和完整的對象區域來訓練分割模型。
所以DSRG提出動態監督的方法，在訓練過程中，使用迭代訓練，每一次迭代中均使用種子區域擴展方法擴展種子區域，下一次迭代時使用擴展後的種子區域作為新的待擴展區域。同時也是用條件隨機場方法限制邊界。
生成種子區域
使用與SEC方法相似的生成種子區域方法，使用CAM方法[10]和顯著性檢測方法分別得到前景和背景的種子區域。
細節：CAM方法詳解見歷史文章
根據實驗結果評測，通過CAM方法，圖片中大約40%的像素有了確定的label，作為初始種子區域。
網絡架構
網絡基於VGG16或者Resnet101網絡，改全連接層為卷積層，對每一個像素進行分類，預測分類分值。網絡輸入為一張圖片，輸出為圖片分割結果圖。N個H*W的feature maps，上面的值為預測每一個像素屬於某一個類別的可能性。
損失函數
在獲得種子區域之後，開始介紹如何使用種子線索訓練圖像語義分割網絡。考慮到前景和背景種子區域的不均衡分佈，與SEC方法中提出的種子損失不同，本文中提出的平衡播種損失分別具有前景和背景的兩個歸一化係數，鼓勵對分割網絡的預測僅匹配由分類網絡給出的種子提示，同時忽略圖像中的其餘像素。
定義C是圖像中存在的類別集（背景除外），c-是背景。假設Sc是一組分類為c類的種子區域。然後，平衡種子損失lseed的定義如下：
其中,Hu,c表示分割圖H中位置u處像素預測為c類的概率。
此外，我們使用SEC方法中提出的基於CRF的邊界損失lboundary鼓勵分割圖與對象邊界的匹配。最終，通過最小化損失函數來優化分段網絡：
DSRG方法擴增種子區域
觀察得到的種子區域，可以發現種子區域定位準確但十分稀疏，在實踐中，大約有40％的像素具有標籤。
為了改善靜態監督的結果，希望通過迭代訓練，在訓練過程中通過種子區域增長方法擴展種子區域，每一次迭代使用上一次訓練後擴展的種子區域作為初始種子區域，進行訓練，並以這個種子區域作為基礎進行擴展，直到兩次迭代過程的結果不再更新為止 。
種子區域增長的理論基礎是在圖像中存在小的均勻區域，其中像素應該具有相同的標記，即位置相鄰的像素通常具有相同的類別標籤。
如何擴展種子區域？
首先，根據分割網絡生成的分割圖H中像素的預測概率值與設定閾值的大小關係定義相似性標準P，公式如下：
其中,Hu,c指的是指預測分割圖中位置u的像素預測為c類的概率值。θ是設定的概率閾值。實驗中，設置前景類別閾值為θb,背景類閾值為θb.
其次，將分割圖H和種子區域S作為輸入來執行區域增長DSRG。DSRG是針對每個類的迭代過程，我們將類c的迭代增長過程表示為Vc,C∈[0,|C|]其中,c=0表示背景類。
在Vc的每次迭代中，將訪問Sc中的所有位置，當訪問像素Q時，將Q的8連通性鄰域中的未標記像素集表示為R.對於Ru∈R.其類c的概率如上所述表示為Hu,c。然後根據P對Ru進行分類如下，更新種子區域：
最後，在訪問所有位置後，我們根據規則將所有新標記的像素堆加到Sc，生成新的種子區域。更改Sc後，我們將再次訪問更新的Sc。否則，Vc停止。隨著分割網絡能力的增加，未標記像素的數量減少，並且對象範圍被正確的標籤覆蓋。最終，當Sc不再更新時停止更新。
實驗結果
PASCAL VOC2012數據集包含訓練集（1464圖像），驗證集（1449圖像）和測試集（1456圖像）三個部分。
DSRG方法基本上優於使用圖像級標籤進行弱監督的所有先前技術，獲得了目前PASCAL VOC2012數據集上目前最好結果。
定性結果最後一行給出了一種失敗模式。對於弱監督系統來說，如果沒有完整的信息，強烈共存的類別（如火車和鐵路，雪地和雪）就無法分開。
閱讀更多 AI深度學習求索 的文章
