最近哈工大的研究團隊於2020年在國際著名的人工智能雜誌《神經網絡》上發表了《利用深度CNN進行批量重正化的圖像去噪》。
作者信息
在論文中，作者提出了一種新的圖像去噪網絡，稱為批重歸一化去噪網絡（BRDNet），可以解決硬件資源受限條件處理數據分步不均勻的問題。
介紹
圖像去噪的目的是從嘈雜的圖像中恢復出清晰的圖像，這是計算機視覺中的經典逆問題。由於圖像去噪技術可以很好地恢復原始圖像並恢復細節，因此它們被廣泛應用於許多領域，例如遙感圖像和醫學圖像。
對於嘈雜的圖像，圖像去噪問題可以表示為 ，在哪些是原始圖像，並且 表示具有標準偏差的加性高斯噪聲（AWGN） 。從貝葉斯規則來看，基於圖像優先級的方法是圖像去噪的不錯選擇。
列舉下相關去噪算法：
例如塊匹配和三維（3D）過濾（BM3D）利用協作變更來增強圖像去噪的稀疏性。同時使用基於字典學習的稀疏表示和基於自相似性的非局部手段可以消除噪聲圖像中的噪聲。非局部集中式稀疏表示（NCSR）集中了稀疏編碼以抑制稀疏編碼噪聲。加權核規範最小化（WNNM），馬爾可夫隨機場（MRF），梯度法和總變異（TV）方法等也是非常流行的圖像去噪方法。
儘管上述方法在圖像去噪方面表現出出色的性能，但是這些方法中的大多數都面臨兩個主要挑戰：
（1）手動調整懲罰參數
（2）複雜的優化算法。由於自適應能力強的學習能力，深度學習技術，尤其是卷積神經網絡（CNN）已成為解決這些問題的最受青睞的方法。
在本文中，我們提出了一種新的圖像去噪網絡，稱為批重歸一化去噪網絡（BRDNet）。
首先，BRDNet結合了兩個網絡以增加BRDNet的寬度並獲得更多的圖像去噪功能。
接下來，BRDNet使用批處理重歸一化（BRN）解決小型迷你批處理問題，並使用具有跳過連接的殘差學習（RL）獲得清晰的圖像。
最後，為了減少計算成本，使用了擴張卷積（Dilated Conv）來捕獲更多特徵。
BRDNet方法具有以下貢獻：
（1）提出了一種新穎的深度CNN用於圖像去噪，它可以直接從噪聲圖像中獲得清晰的圖像。與現有的CNN去噪方法不同，所提出的網絡增加寬度而不是深度，以增強去噪網絡的學習能力。
（2）批量重新歸一化用於圖像去噪，可以解決小型迷你批量問題。而且，BRN還可以加速網絡訓練的融合，並且對特定的硬件平臺沒有任何要求。因此，BRN和CNN的組合用於圖像降噪是低配置硬件設備（例如GTX 960和GTX 970）的不錯選擇。
（3）BRDNet使用膨脹卷積來擴大接收域，從而使網絡能夠提取更多上下文信息並降低計算成本。此外，它還可以防止梯度消失或爆炸。另外，殘差學習可以進一步提高圖像降噪性能。
（4）實驗結果證明BRDNet對合成和真實的噪聲圖像均具有魯棒性。
相關工作
- 深度CNN用於圖像去噪
我們使用深層的CNN進行圖像降噪比BM3D更好的性能。
- 批量重新規範化
BN方法使用歸一化運算以及縮放和移位運算來解決內部協變量移位問題，BRN可以有效解決BN困境的事實啟發，因為BRN使用單個樣本而不是整個小型批次來近似訓練數據的分佈。BRN可以有效地解決小型迷你批處理和非獨立的均勻分佈迷你批處理問題
- 殘差學習和擴張卷積
在增加深度和解決網絡性能下降之間的權衡。它融合了提取的要素和幾個堆棧層的輸入作為當前層的輸入，從而可以解決梯度消失或爆炸的問題。為此，提出了殘差神經網絡（ResNet）的許多變體用於低水平視覺任務。例如，非常深的超分辨率（VDSR）利用全局殘差學習（GRL）進行圖像恢復。GRL和梯度修剪操作可以使VDSR加速收斂。深度遞歸卷積網絡（DRCN）結合了遞歸機制和GRL來解決圖像恢復的過擬合問題。深度遞歸殘差網絡（DRRN）集成了GRL，局部RL和遞歸學習以提高圖像恢復性能等。
膨脹卷積的接收場大小可以使用膨脹因子f 和膨脹的卷積層數 n，比如(4n+1)*(4n+1),膨脹卷積對圖像去噪也有很好的效果。
基於CNN的去噪方法
- 網絡架構
該網絡稱為BRDNet，由兩個不同的網絡組成：上層網絡和下層網絡。上層網絡僅由RL和BRN組成。較低層網絡包括BRN，RL和膨脹卷積。
眾所周知，接收域更大，所設計的網絡將具有更高的計算成本。因此，我們選擇一個網絡（下層網絡）來使用膨脹卷積。考慮到性能和效率之間的平衡，較低網絡的2–8和10–15層使用膨脹卷積來捕獲更多上下文信息。第一，第十六層使用BRN對數據進行歸一化，這使兩個子網的輸出保持相同的分佈。此外，BRN對於小批量任務非常有用，這對於低配置的硬件平臺（例如GTX960和GTX970）非常有用。下一個，RL技術被融合到兩個通道的網絡中以提高性能。
圖1。建議的BRDNet網絡的體系結構。
- 損失函數
受GooLeNet和DnCNN的激勵，我們選擇均方誤差（MSE）以獲得網絡的最佳參數。
訓練數據集時 給出，BRDNet使用RL獲取模型並預測殘差圖像，使用噪聲映射。然後我們通過以下方式將嘈雜的圖像轉換為清晰的圖像：換句話說，我們擁有並且訓練樣本大致獲得了該等式。具體來說，可以通過使亞當（Kingma＆Ba，2014）的以下損失函數最小化來獲得最佳參數：
- BRN，膨脹卷積和RL的集成
BRDNet的優勢之一是將兩個不同的互補網絡相結合進行圖像降噪。
如圖1所示：
第一網絡主要包括BRN和殘差學習。
第二個網絡集成了BRN，擴張卷積和RL。
從圖1中我們可以看到，通過預測具有標準偏差的加性高斯白噪聲，BRDNet可以獲得潛在的清潔圖像。首先，可以使用BRDNet來預測噪聲。然後，它使用獲得的噪聲 產生清晰的圖像 。
設計的網絡遵守以下規則：
首先，更深的網絡會導致梯度消失或爆炸。因此作者設計了一種稱為BRDNet的新型降噪網絡，該網絡使用兩個不同的子網來減少網絡深度並獲得更多功能。深度會減小，並且不會產生消失或爆炸的梯度。
其次，訓練數據的分佈通過卷積核來改變。BN被認為是解決該問題的不錯選擇。但是，當批量較小時，效果不是很好，這限制了它的應用。在實際應用中，許多硬件設備會限制內存，並且可以運行具有高計算複雜性的程序。因此，我們使用BRN代替BN來規範化數據，並提高去噪網絡的收斂速度。BRN的原理如下：
第三，深度網絡可以提取出更準確的特徵。但是，深度網絡將丟失一些上下文信息。結果，我們在BRDNet中使用膨脹卷積來擴大接收域並捕獲更多上下文信息。具體來說，膨脹卷積可以使用更少的層來扮演與更多層相同的角色。從以前的研究中可以知道，增加寬度可以提取更多特徵，而BRDNet具有網絡體系結構，可以增加網絡的寬度而不是其深度來提取更可靠的功能（稱為兩通道網絡）。因此，兩通道網絡和擴張卷積的組合對於提高圖像降噪性能非常有效。而且，減小網絡深度還可以防止梯度消失或爆炸。這樣，BRDNet可以降低計算成本。但是，較低層的網絡只有膨脹的卷積，這可以使兩個子網絡產生互補的特徵並提高網絡的泛化能力。看起來，儘管這兩個子網的深度不深，但與非常深的單個網絡（例如FFDNet和IRCNN）相比，將它們集成起來可以表現良好。在我們看來，擴大的卷積在增加接收場大小方面具有與深層網絡相似的功能。
最後，我們在BRDNet中使用RL方法來再次提高性能。
實驗結果
我們主要從以下方面介紹實驗結果：數據集，實驗設置，成分分析，用於灰色合成噪點圖像和彩色合成噪點圖像的BRDNet，實際噪點圖像降噪以及運行時間。首先，我們介紹BRDNet的參數。接下來，我們證明本文詳細介紹的主要技術的有效性。然後，報告了BRDNet在BSD68和Set12公共數據集上的性能，以進行灰色合成噪聲圖像降噪。幾種先進的灰色合成噪聲圖像降噪方法，例如BM3D，WNNM，MLP，可訓練的非線性反應擴散（TNRD），預期斑塊對數似然性（EPLL），級聯收縮場（CSF），DnCNN，IRCNN和FFDNet與本文提出的方法進行比較。
- 訓練數據集
對於高斯圖像去噪，我們使用了滑鐵盧勘探數據庫中的3,859張圖像來訓練模型。
對於真正的噪點圖像降噪，我們使用了來自Xu，Li，Liang，Zhang和Zhang（2018）的 100張圖像來訓練模型
- 測試數據集
對於灰度噪聲圖像去噪，我們使用高斯噪聲來訓練去噪模型。根據DnCNN和FFDNet方法，我們選擇伯克利細分數據集68（BSD68）和Set12（Roth＆Black，2009）作為測試數據集。
對於彩色噪聲圖像降噪，我們使用CBSD68，Kodak24（Franzen，1999）和McMaster測試BRDNet的圖像降噪。
圖2。cc數據集中的十二個圖像。
圖3.使用不同方法從BSD68數據集中以噪聲級別25去除一幅圖像的結果：（a）原始圖像，（b）噪聲圖像/20.30 dB，（c）WNNM / 29.75 dB，（d）EPLL / 29.59 dB，（ e）TNRD / 29.76 dB，（f）DnCNN / 30.16 dB，（g）BM3D / 29.53 dB，（h）IRCNN / 30.07 dB和（i）BRDNet / 30.27 dB。
在噪聲級別為15、25、35、50和75的CBSD68，Kodak24和McMaster數據集上，不同方法的平均PSNR（dB）結果如下：
在真實噪聲圖像上使用不同方法的PSNR（dB）結果如下：
圖4。McMaster數據集中噪聲級別為35的一張彩色圖像的去噪結果：（a）原始圖像/ 35，（b）噪聲圖像/18.62 dB，（c）CBM3D / 31.04 dB，（d）FFDNet / 31.94 dB和（e）BRDNet / 32.25 dB
結論
在本文中，作者提出了一種新穎的基於模型的CNN去噪器，稱為BRDNet，它結合了兩個不同的網絡以增強圖像去噪性能。此外，BRDNet使用BRN，RL和膨脹卷積來提高去噪性能，並使模型更易於訓練。BRN不僅用於加速BRDNet的收斂，還用於解決小批量問題。RL用於從噪點圖像中分離出噪聲，並在BRDNet中獲得潛在的乾淨圖像。擴張的卷積可以擴大接收場以獲得更多的上下文信息。實驗結果表明，BRDNet與其他最新的圖像去噪方法相比具有很強的競爭力。
論文地址：
https://www.sciencedirect.com/science/article/pii/S0893608019302394
開源地址：
https://github.com/hellloxiaotian/BRDNet
閱讀更多 圖像算法 的文章
