文 | BBuf
編 | 楊曉凡
論文標題：Progressive Feature Polishing Network for Salient Object Detection
論文地址：https://arxiv.org/abs/1911.05942
本文為 AAAI2020 接收論文
摘要：圖像的特徵對於顯著性目標檢測非常重要。現有的方法主要集中在設計複雜的結構以合併多級特徵並濾除混亂的特徵。這篇論文提出了一個新的漸進式特徵打磨網絡（PFPN），通過重複使用多個特徵打磨模塊(FPM)可以檢測出具有精細細節的顯著目標，且無需任何後處理。FPM通過直接合並所有高級別的上下文信息來並行更新每個級別的特徵並且可以保留特徵圖的尺寸和層次結構，這使得它可以應用在任何CNN結構中。PFPN在5個benchmark數據集上獲得了SOTA。
1、介紹&貢獻
顯著性目標檢測旨在提取出圖像中最吸引人的區域，已經在計算機視覺中被廣泛應用，如視頻壓縮，視覺跟蹤以及圖像檢索。顯著性檢測主要依賴於圖像語義特徵，包括低級特徵和高級特徵。
因此，為了利用詳細的語義特徵，各種特徵融合方法層出不窮。但由於某些特徵層上的特徵不準確，特徵之間的長期依賴問題，對高層特徵利用不充分會影響檢測能力等原因導致這一問題仍然充滿挑戰。為了充分利用語義和細節信息，本文提出了一個簡潔高效的漸進式特徵打磨網絡。這篇文章的貢獻如下：
- 本文提出了一種用於顯著目標檢測的漸進式特徵打磨網絡以遞歸方式逐步完善特徵。
- 對於每一個打磨步驟，論文提出FPM來精煉特徵，從而保留特徵圖的尺寸和層次結構。它將高級語義信息直接集成到所有低級特徵中以避免長期依賴問題。
- 在5個benchmark數據集上均獲得了SOTA精度。
2、方 法
2.1 整體結構
用於顯著性目標檢測的漸進式特徵打磨網絡的整體結構如Figure2所示。
首先，輸入圖像被喂到骨幹網絡中提取出多個尺度的特徵。論文中選擇了ResNet-101做骨幹網絡。同時以VGG16做骨幹網絡的結果論文在實驗部分也展示了。
具體來說ResNet-101網絡可以用stride=2的下采樣操作來分成5個塊。這5個塊的輸出特徵圖可以表示為：Conv-1，Res-2，Res-3，Res-4，Res-5。為了減小特徵圖的尺寸使得實現更加簡介，這些特徵圖首先經過第一個轉換模塊（Figure2中的TM1），其中每個級別的特徵經過 1x1 卷積轉換為相同的維度，例如在我們的實現中為 256 個。
在獲得相同維度的多個特徵之後，一系列的FPM模塊被接在每個特徵圖後面以進行特徵精煉。Figure2展示了一個 T=2 的例子。在每個FPM中，高級特徵直接被引入到所有的低級特徵以對其進行改進，這比間接方式更加有效並顯著減少了信息損失。FPM的輸入和輸出有相同的維度並且所有的FPMs共享同一個網絡結構。
我們對每個FPM使用不同的參數，以期它們可以逐漸學習專注于越來越多的細節信息。實驗證明當 T=2 的時候，模型表現出了SOTA精度並且有20FPS的速度。
然後，模型利用第2個轉換模塊(Figure2中的TM2)，這是由一個雙線性上採樣接一個 1x1 卷積組成的，直接將目標上採樣為原始圖像的分辨率並且將通道數壓縮為32。
最後，一個融合模塊(FM)被用來融合多個特徵圖獲得最終的顯著圖。由於使用FPM之後的特徵表示更加準確，因此FM使用簡單的串聯策略來實現，並且網絡使用端到端的方式進行訓練。
2.2 特徵打磨模塊
特徵打磨模塊(FPM)在論文提出的PFPN網絡中是核心組件，FPM是一個簡單而有效的模塊，可以和任何卷積網絡幾何使用以完善特徵表示。
它保留了CNN生成的多級特徵，例如主幹或者或者前一級的FPM輸出，並學習使用殘差連接更新它們。對於N個特徵圖F={fi,i=1,...,N}，FPM會產生N個打磨後尺寸相同的特徵圖F^{p}={fi^p,i=1,...,N}，如Figure2所示，FPM包含N個平行的FPM模塊，每一個都對應於一個單獨的特徵圖並表示為FPM-k。
具體來說，從較深的一側到較淺的一側採用了殘差連接。結果，將具有全局信息的高級特徵直接注入到較低級的特徵中，以幫助更好的發現顯著區域。以Figure2中的FPM1-3來說，Res-3，Res-4，Res-5的特徵都通過shortcut連接被更新到Res-3上了。FPM還吸收了殘差網絡的優勢(He et al. 2016)，因此它可以更新特徵圖並逐漸濾除混亂的信息。
這由Figure2中的各種連接來說明。$FPM-k$模塊的實現可以被如下公式化：
它接受N-k+1個特徵圖如{fj，j=k,..,N}。對於特徵圖fj，我們首先使用一個3x3的卷積+BN+ReLU的組件去捕獲語義信息，然後將其插值到fk大小。這些插值上採樣後的特徵使用concat進行融合後，再經過一個 1x1 卷積降維獲得pk。然後pk被當作殘差函數去更新原始的特徵圖fk來計算最終的特徵圖f_k^p。當k=3時的一個例子如Figure3所示。
2.3 融合模塊
論文使用融合模塊(FM)來融合多個特徵圖的特徵並檢測顯著對象。如Figure2所示，首先將TM2的多級特徵進行Concat，然後送入兩個 3x3 卷積層中。然後，在最後一個 1x1 卷積層中獲得最終的顯著圖。
2.4 實現細節
論文使用交叉熵損失來優化最終的顯著圖和標註顯著圖。然後作者使用了一個輔助損失，具體就是優化在FM模塊之前的一系列中間結果，最終網絡的總損失如下：
3、實驗結果
下面的Table1展示了本文的方法在5個數據集上均獲得了SOTA精度，證明了此方法的有效性。
4、可視化展示
5、結 論
為了充分利用語義和細節信息，本文提出了一個簡潔高效的漸進式特徵打磨網絡（PFPN）。PFPN致力於通過遞歸的方式逐步精煉特徵來改進多層次的特徵圖表示，對於每個特徵打磨步驟，均用特徵打磨模塊(FPM)將高級語義信息直接集成到所有較低級別的特徵圖中，從而減少了信息丟失。最終，PFPN在5個benchmark上的性能明顯優於16種最新方法。
閱讀更多 AI科技評論 的文章
