作者
介紹
作者提出了一種生成式圖像修復系統，該系統基於從數百萬個圖像中學習的門控捲積，無需額外的標記工作。作者所提出的卷積解決了將所有輸入像素都視為有效像素的香草卷積問題，通過為所有通道在所有層上的每個空間位置提供可學習的動態特徵選擇機制來概括部分卷積。
此外，由於自由形式的蒙版可能會出現在任何形狀的圖像中，因此為單個矩形蒙版設計的全局和局部GAN均不適用。因此，我們還通過應用頻譜歸一化提出了基於補丁的GAN損失，稱為SN-PatchGAN鑑別密集圖像斑塊。SN-PatchGAN的配方簡單，訓練快速，穩定。自動圖像修復和用戶指導的擴展的結果表明，與以前的方法相比，我們的系統可產生更高質量和更靈活的結果。我們的系統可幫助用戶迅速移除分散注意力的物體，修改圖像佈局，清除水印並編輯臉部。
下圖顯示處理：
作者在項目中提供了一個交互式演示，我們可以自由地遮蓋圖像的某些部分，然後檢查其生成效果。Deepfill V2提供了兩個模型，這些模型在兩個數據集上進行了預訓練：places2和celebahq。從效果的角度來看，至少對於這兩個數據集，它在場景和麵部圖像中做得非常好，尤其是在人臉補全效果突出。
第一行是真實圖像，第二行是刪除細節的圖像，第三行是DeepFill v2修復的圖像
作者指出，該項目只有三個依賴項，即Python 3、TensorFlow和他製作的TF工具包neuralgym。作者在TF 1.3、1.4、1.5、1.6、1.7上進行了測試，並將各種模型超參數放入YML文件中，以便於調整。
帶有門控捲積和SN-PatchGAN的框架概述，用於自由形式的圖像修復。
我們來看下作者針對不同方法的比較，包括PatchMatch，Global＆Local，ContextAttention，PartialConv和我們的方法。圖片修復的比較基於四個維度：Semantics，Non-Local，Free-Form和User-guided選項如下圖所示：
均值誤差比較
相關修復圖片
結論
作者提出了一種基於端到端生成網絡的新型自由形式圖像修復系統，該網絡具有門控捲積，並經過逐像素1損失和SN-PatchGAN訓練。而且證明了門控捲積顯著改善了免費的修復效果形式的掩碼和用戶指導輸入。我們以用戶素描為例，以幫助用戶快速移除分散注意力的對象，修改圖像佈局，清除水印等。
論文地址：
https://arxiv.org/pdf/1806.03589.pdf
開源地址：
https://github.com/JiahuiYu/generative_inpainting
閱讀更多 圖像算法 的文章
