Facebook的人工智能研究讓閉著眼的照片“睜眼”

Facebook的人工智能研究讓閉著眼的照片“睜眼”

有很多美顏方法可以讓你的照片看起來更好看,去掉紅眼或鏡頭閃光,磨皮,美白等等。但到目前為止,在拍照的時候正好“眨了下眼”,這種糟糕的情況是沒辦法用軟件來處理的。這可能會隨著Facebook的一項研究而改變,該研究以一種非常令人信服的方式用睜開的眼睛取代了閉著的眼睛。

這遠非智能“in-painting”的唯一例子,因為當一個程序在一個空間裡填滿它認為屬於它的東西時,它就會被調用。Adobe尤其充分利用了它的“上下文感知填充”(context-aware fill)功能,允許用戶無縫地替換不需要的圖像,並能準確地猜測如果沒有的話會出現什麼。

但有些功能超出了工具的替換能力,其中之一就是眼睛。它們的細節和高度多變的特性使得系統很難實際地改變或創建它們。

Facebook可能比歷史上任何其他公司都有更多的人眨眼的照片,它決定採取措施來解決這個問題。

它是通過生成性的對抗網絡來實現的,這本質上是一個機器學習系統,它試圖欺騙自己,讓自己認為它的創造物是真實的。在GAN中,系統的一部分學習識別,比如人臉,系統的另一部分反覆創建圖像,基於識別部分的反饋,真實性也逐漸增長。

從左到右:“範例”圖像、源圖像、Photoshop的開眼算法和Facebook的方法。

Facebook的人工智能研究讓閉著眼的照片“睜眼”

在這種情況下,網絡被訓練去識別和複製令人信服的睜開眼睛。這已經可以實現了,但是正如您在右邊的示例中看到的,現有的方法還需要一些東西。他們似乎在人們的眼中粘貼,沒有考慮到與圖像的其他部分的一致性。

機器是天真的:他們不能直觀的去理解睜開眼睛也不會改變周圍皮膚的顏色。(就此而言,他們對眼睛、顏色或其他任何東西都沒有直觀的理解。)

Facebook的研究人員所做的是包含“範例”數據,這些數據顯示了目標人睜開眼睛的樣子,GAN從中不僅瞭解了眼睛應該盯著這個人看的是什麼,還了解了這個人的眼睛是如何被塑造、著色的,等等。

結果是相當成功的:沒有顏色不匹配或明顯的拼接,因為網絡的識別部分知道那不是人的樣子。

在測試中,人們誤把假眼睛打開的照片當成真實的,或者有超過一半的時間他們不能確定哪個是哪個。當我在我的newsfeed中滾動瀏覽它時,我可能不會注意到照片的特別,除非我知道照片是被篡改過的。不過,甘地看起來有點奇怪。

在某些情況下,它仍然會失敗,比如:一個人的眼睛被一縷頭髮遮住了一部分,或者有時不能正確地再現顏色,就會產生一些奇怪的照片,但這些都是可以解決的問題。

你可以想象,在Facebook上有一個自動打開眼睛的工具,它可以檢查一個人的其他照片,並使用它們作為參考,以替換最新一張照片中的眨眼。這可能有點嚇人,但這對Facebook來說是相當標準的,至少它可以保存一到兩張照片。


分享到:


相關文章: