摘要
本文旨在研究數據擴充的有效性。它將通過使用傳統數據擴充技術(比如裁剪、旋轉)或者現代意義上講的GAN(CycleGAN)。
導言
相關工作
在這一節中，作者回顧了一些常用的防止過度擬合的方法。介紹了增加正則化項、退出、批量歸一化和遷移學習等方法。此外，作者給出了數據增強技術的簡單描述，如幾何或色彩增強。(主要是仿射變換)。以及如何訓練GAN的基本描述。
方法
這是它非常有趣的地方，作者將採取兩種不同的方法。
a)在訓練分類器之前進行數據擴充(使用GAN或仿射變換)
b)在分類器網絡中使用預先的神經網絡來實時擴充數據。
作者將使用傳統的擴充技術或CycleGAN(樣式傳輸)來執行數據擴充。（見下文）
最後，對於增強網絡的需求，他們創建了一個小型的5 CNN網絡，n並使用各種損失函數來訓練網絡。1，內容損失2，風格缺失3 ，無損失。
數據集與特徵
作者對三個數據集進行了實驗研究。（其中兩個數據集來自小圖像網絡，第三個數據集來自MNIST數據集。）第一個數據集由狗/貓的圖像組成，第二個數據集由狗/金魚的圖像組成。
實驗
本實驗使用了兩種網絡，分別是分類網絡(SmallNet)和增強網絡(Augmentation Network)。這兩個網絡的網絡架構如下所示。
增強網絡是通過是在同一個類連接兩個圖像(在它們的通道維度中)來創建額外的圖像。(這是數據增強部分)。增強網絡只在訓練期間使用，而不是在測試期間使用，整個過程如下所示。
最後要考慮的是損失函數，在圖像增強後，作者引入了三種損失函數。(實際上是兩個，因為最後的損失函數根本不是損失函數。)
第一個損失是增強圖像和目標圖像之間的損失，其項D為增強圖像和目標圖像的長度。
第二個損失是格拉姆矩陣在增強圖像和目標圖像之間的損失。如上所述，第三個損失函數是無損失函數的。
結果
對於所有的數據集，他們執行不同類型的增強，並得到以下結果。
我們可以假設在神經增強的情況下無損失函數，(控制方法是將相同的圖像輸入到增強網絡中。)可以得到從增強網絡生成的一些圖像。
作者指出，增強網絡似乎從兩幅圖像中提取了一些關鍵特徵，同時優化了背景像素。
結論與發展潛力
作者指出，使用更復雜的網絡進行分類和增強是值得的。並指出與傳統的圖像增強方法相比，GAN或神經增強具有較好的增強效果，且耗時較短。
論文地址：https://drive.google.com/viewerng/viewer?url=https://arxiv.org/pdf/1712.04621.pdf
閱讀更多 AI中國 的文章
