十三 發自 凹非寺
量子位 報道 | 公眾號 QbitAI

GAN又做了件了不起的事。

提到達芬奇的《蒙娜麗莎》，那張神秘的微笑立即浮現腦海。

提到梵高的《星月夜》，那片迷幻的夜空也彷彿歷歷在目。

△上：《蒙娜麗莎》；下：《星月夜》

我們深知一張圖片勝過千言萬語，但到底為什麼那些著名的畫作即使很久沒再看過，也能讓人如此印象深刻呢？

或許你瞭解其中原理，但現在有一個更簡單粗暴且直觀的方法：

問問AI，讓GAN給你模擬一個過程。

這個神奇的技術叫GANalyze，來自麻省理工學院(MIT)。

什麼是GANalyze

簡單來說，GANalyze就是一個使用生成模型來研究認知特性的框架。

認知特性可以包括記憶力、美學或者情感效價等。

MIT電氣工程和計算機科學助理教授Phillip Isola說：

關於記憶性的文章有很多，但是這種方法可以讓我們想象出什麼是記憶性。

它為我們提供了一個難以用語言表達的視覺定義。

這項研究是建立在MemNet基礎之上。簡單來說，MemNet這個模型會對圖像的可記憶性進行評級，並且還能強調圖像中的哪些特徵會對決策產生影響。

而GANalyze使用了GAN技術，在一張圖像從“無人問津”到“印象深刻”的過程中，將其可視化。

量子位根據在線測試工具實驗了一波，結果如下：

我們可以看到一個在竹林中較為模糊的熊貓，逐漸轉變為特點鮮明的熊貓：黑色的眼睛、耳朵、爪子，和它白色的部分形成鮮明對比。

這個GAN有三個部分組成：

assesor(評估器)：基於MemNet，打開目標圖像的記憶旋鈕，並計算如何達到預期的效果；
transfomer(轉換器)：執行指令；
generator(生成器)：輸出最終的圖像。

來看下這張漢堡變得令人印象深刻的過程：

從左至右的變化不禁讓小編想起一句著名Rap：你看這個漢堡它又大又圓~

研究人員利用GANalyze在生成圖像的過程中，詳細的展示了讓圖像或場景脫穎而出的因素。

被試者記憶最深刻的圖像具有以下特點：

· 具有明亮的顏色
· 背景簡單
· 處於畫面突出的中心位置

研究的合著者Lore Goetschalckx表示：

人類的大腦在進化過程中最關注這些特徵，而這正是GAN所注意到的。

但最具美感的圖像並不是最讓人印象深刻的。

GitHub代碼

這麼有意思的項目當然已經在GitHub上開源：
https://github.com/LoreGoetschalckx/GANalyze

研究人員提供了Tensorflow和Pytorch實現。也通過下面的途徑正式測試過：

PyTorch >= 0.4 (1.1.0) 和 torchvision >= 0.2.2 (0.3.0)
Tensorflow 1.12.0 和tensorflow_hub 0.1.1 (針對預訓練過的BigGANs)
numpy, scipy, PIL

研究人員建議參考本地文檔來獲得更詳細的安裝說明。但是，如果是在Ubuntu的linux服務器上，以下命令可能就足夠了：

要clone這個repo，可以運行如下代碼：

可以首先下載GANalyze項目頁面上託管的預訓練的generator和assesor。

也提供了用於下載Tensorflow或PyTorch模型的實用程序腳本，可以使用以下命令進行調用：

TensorFlow：

Pytorch：

訓練代碼如下：

測試代碼如下：

One More Thing

其實，GANalyze除了上述功能外，研究人員發現它還有很多潛在的應用價值。

例如，可以通過增強現實系統中的對象來檢測甚至治療失憶。

還可以通過創建令人難忘的圖形，幫助讀者記住信息，這可能會給教育帶來革命性的變化。

那麼，你覺得這樣的GAN技術還能為我們帶來怎樣的福利呢？

— 完 —

量子位 QbitAI · 頭條號簽約

關注我們，第一時間獲知前沿科技動態