作者
介紹
圖像合成是圖像處理中常用的操作。我們可以從一個圖像中剪切並粘貼前景，然後將其粘貼到另一個圖像上以獲得合成圖像。合成地圖可以用來獲取感興趣的目標圖像，也可以用於數據增強。它有著廣泛的應用。然而，用這種方法得到的合成圖存在著前景大小或位置不合理、前景與背景看起來不一致等問題。我們的工作重點是解決合成圖像中前景與背景不協調的問題。具體來說，在合成圖像中，前景和背景是在不同的拍攝條件（如時間、季節、光線和天氣）下拍攝的，因此在亮度和顏色方面存在明顯的不匹配問題。圖像協調的目的是調整合成圖像中的前景，使之與背景相協調。
傳統的圖像協調方法通常將背景或其它圖像的顏色信息傳遞到前景，但這不能保證調整後的前景看起來真實，與背景和諧。近年來，人們嘗試用深度學習來協調圖像，但合成圖像和真實圖像的配對非常困難。如果沒有成對的合成圖和真實圖，那麼深度學習的訓練過程就缺乏足夠強的監控信息，合成圖協調後的結果也不是評價的基本事實。截至目前，還沒有公開的大規模圖像協調數據庫。我們已經構建併發布了一個由四個子數據庫組成的圖像協調數據庫。此外，提出了域驗證的概念，並嘗試了一種基於域驗證的圖像協調算法。
方法
我們構建數據庫的方法是按照策略建模的。具體來說，在給定一幅真實圖像的情況下，我們選擇一個前景來調整它與背景的不一致性，得到一幅人工合成的圖像。這種建立數據庫的方法可以生成大規模的訓練數據對，以訓練深度學習模型。但之前的paper沒有公佈其建立的數據庫，而且建立數據庫的方式在合成地圖的合理性和多樣性上存在明顯的缺陷。調整前景使其與背景不協調並不困難。僅僅改變前景的亮度就可以快速生成大量的合成地圖。然而，很難保證合成圖的合理性和多樣性，也很難接近實際的應用場景。
因此，我們在之前文獻中建立了一個擴充版和增強版的數據庫，其中包含73146對合成圖和實圖。我們的數據庫包含四個子數據庫：HCOCO、HAdobe5k、hflicker、Hday2night，其中Hday2night是在之前文獻中找不到的子數據庫。Hday2night的合成圖更接近真實的合成圖，與其他3個子庫相比具有特殊的參考價值。針對合成圖像生成中存在的各種問題，我們採用了兩輪自動篩選和人工篩選的方法，逐一保證最終保留圖像的質量。對最終數據庫進行了全面詳細的分析，包括不同的前景比例、不同的前景調整方法、不同的語義類型對圖像協調數據庫的影響以及圖像協調算法的結果。接下來，我們從每個子數據庫中選擇兩個示例來顯示我們的數據庫。如下圖所示，我們調整真實圖像的前景（對應於遮罩的區域）以獲得合成合成圖像。可以看出，在合成圖像中，雖然前景是真實的，但它與背景明顯矛盾，整個圖像看起來不真實。圖像協調的任務是調整合成圖像的前景，使其與背景相協調。
Domain是一個非常寬泛的概念，在不同的應用任務中有著不同的含義。與域相關的應用也吸引了越來越多的研究者的興趣，如域自適應、域泛化、域分類、域翻譯等。
近年來，許多流行的圖像到圖像的翻譯方法如pix2pix、cycleGAN、MUNIT、DRIT等都屬於域翻譯的範疇。域轉換的一個經典應用是將白天的景觀圖轉換為夜間的景觀圖，白天和夜晚可以被看作兩個域。同樣，我們把每個拍攝條件（如時間、季節、光線和天氣）視為一個域，因此對於真實的圖片有無限多的可能域。真實圖像的前景和背景是在相同的拍攝條件下拍攝的，因此屬於同一個域。合成圖像的前景和背景可以在不同的拍攝條件下拍攝，因此屬於不同的域。我們不知道合成圖像中前景和背景的域標籤，只需要將前景轉移到與背景相同的域。因此，圖像協調可以看作是特殊場景下的域轉換。在此基礎上，提出了域驗證的概念，即確定前景和背景是否屬於同一個域，並設計了一個域驗證鑑別器，用來拉近前景和背景的和諧度。區域。我們的整體網絡結構如下所示：
作者生成器的結構是基於UNet實現的，但是添加了一個類注意塊。而且還引入了兩個鑑別器。
- 第一鑑別器是在生成對抗網絡（GAN）中作用於整個圖片的標準鑑別器，使得生成圖片的數據分佈接近真實圖片的數據分佈。
- 第二個鑑別器是我們提出的域驗證鑑別器，它使生成的圖像中的前景域和背景域儘可能接近。
具體來說，我們首先使用部分卷積分別提取前景和背景的域表示。部分卷積首先應用於圖像修復。該方法用於提取形狀不規則的前景和背景的域表示，避免了其他區域信息的洩漏和默認填充方法的干擾。基於前景和背景的域表示，作者提出了一種域驗證損失。雖然域驗證損失最終以對抗性損失的形式包裝，但它本質上是基於前景域和背景域表示的相似性的驗證損失。在建立的數據庫上，作者的方法、傳統的圖像協調方法和基於深度學習的圖像協調方法進行比較。實驗結果表明，該方法優於現有方法。可視化結果的比較如下圖所示。作者比較了先前的圖像協調深度學習方法DIH和S2AM，而且作者也比較了沒有域驗證鑑別器的方法。
此外，作者還對之前文獻提供的99幅真實合成圖進行了用戶研究，結果表明作者的方法優於現有的方法。對於量化指標，由於有一幅真實的地面真實圖，可以對生成地圖的效果進行量化評價。
作者使用MSE和PSNR，並提出了只考慮前景的fMSE，因為對於前景比例較小的合成地圖，轉換後的前景誤差可能會被背景重建誤差所覆蓋，嘗試過其他定量指標，如SSIM、LPIPS等，但由於合成圖和實圖在結構和語義上非常接近，所以作者認為這些定量指標並不十分可靠。因此，最終只使用定量指標MSE/fMSE、PSNR和用戶主觀評價指標B-T得分。
論文地址：
https://arxiv.org/pdf/1911.13239.pdf
源碼地址：
https://github.com/bcmi/Image_Harmonization_Datasets
閱讀更多 圖像算法 的文章
