郭一璞 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
神經網絡內部，究竟藏著什麼？
這是無數機器學習研究者內心的終極疑問。
現在，Google和OpenAI的一場合作，以圖像分類神經網絡為例，我們揭開了神經網絡黑箱的一角。
他們說，圖像分類神經網絡裡面長這樣：
這不是狗頭，是一系列激活地圖（Activation Atlas）中的一張，通俗的說，就是神經網絡在學習圖像分類之後，在內心把所有學過的物品畫了一幅思維地圖，把長得像的東西放在了一起，以此作為依據，判斷之後所有的它看到的圖片是什麼。
這個驚人的發現，讓許多人振奮：
“恭喜OpenAI，太有趣了！”
“做的真好，他們每次都能推出厲害的項目，解答我心中的疑問。”
“這是全新的概念啊！”
“雖然沒看懂，但是好酷啊！”
機器學習的字母表
激活地圖可以幫助我們瞭解神經網絡在給一張圖片進行圖像分類時“看”到了什麼，有層次的展示出神經網絡中的具體內容。
重點是，這種展示方式我們人類也可以理解，類似於機器學習的“字母表”，由簡單的元素，像原子一樣重組出複雜的圖像。
△ 教神經網絡識物，是不是跟帶娃差不多
示例中的激活地圖是根據在ImageNet數據集上訓練的卷積圖像分類網絡Inceptionv1構建的。
網絡總共10層，每層有數百個神經元節點，就好像一棟一共10層的樓，每層都有數百個房間，每個房間裡都住著一個神經元節點。
每個神經元節點都有自己的“喜好”，不同的神經元節點在不同類型的圖像上的激活程度不同。比如一層中的一個神經元節點喜歡狗，對狗耳朵的圖像有積極的反應；另一層的另一個神經元節點是個貓奴，對貓爪的圖像有積極的反應。
△ 神經元節點：我要這個，給我買這個
把它們“喜歡”的圖像列出來，根據每個神經元節點的“房間號”分佈，畫在“大樓1樓平面圖”上，就可以組合在一起，組成單張激活地圖，類似我們開頭看到的那張像狗頭一樣的拼圖的樣子。
△ 神經元節點：我要這個，給我買這個
之後，把“大樓1樓平面圖”、“大樓2樓平面圖”……“大樓10樓平面圖”集合在一起，就成為了激活地圖。
下面就是其中兩層的例子：
△ 激活地圖第六層MIXED4D
△ 激活地圖第七層MIXED4E
窺探神經網絡內心世界
仔細看就能發現，每一層裡類似的顏色都在臨近的位置，甚至不同層的“樓上樓下”都看起來很相似。
因為神經網絡是個強迫症，為了方便自己學習記憶，它把有類似喜好的神經元節點都安排在了相近的房間裡，強迫他們當鄰居。
所以，現在讓我們走到大樓的不同區域，參觀一下神經元節點們的“興趣小組”吧~
每個方塊圖像，都是一個神經元節點喜歡的圖片種類。“狗頭圖”的“左耳”上，是各種各樣動物的臉：
“額頭”的部位，則是各種水果的圖像：
“嘴巴”的部位，全是水，各種小水坑小池塘：
“右臉”邊緣處，就都是一些房子了。
所有的小圖，圖像挨著圖像，形成漸變，進而聯結在一起，構成神經網絡對圖片分類的認知體系。
就像這樣，泰迪漸變成二哈，變成北極熊，變成狐狸：
鴕鳥也可以漸變成各種不同的鳥類：
利用激活地圖調戲神經網絡
最後，你知道了在神經網絡的大樓裡，哪些不同的物體是鄰居，也就知道神經網絡會把這些東西弄混。
看下面的激活地圖，左邊更像
灰鯨，右邊更像大白鯊。
現在，拿一張灰鯨的照片，神經網絡可以認出來這是灰鯨。
你在圖片一角放一張棒球的照片，棒球的紅色縫線讓神經網絡覺得這不是灰鯨，就朝激活圖右側偏離了一下，認為這是大白鯊。
現在，明白神經網絡為什麼會認錯東西了吧？
傳送門
Demo可玩，有高清大圖，能把神經網絡翻個底朝天
https://distill.pub/2019/activation-atlas/app.html
Google博客
https://ai.googleblog.com/2019/03/exploring-neural-networks.html
OpenAI博客
https://blog.openai.com/introducing-activation-atlases/
論文
https://distill.pub/2019/activation-atlas/
GitHub
https://github.com/tensorflow/lucid#activation-atlas-notebooks
— 完 —
誠摯招聘
量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回覆“招聘”兩個字。
量子位 QbitAI · 頭條號簽約作者
վ'ᴗ' ի 追蹤AI技術和產品新動態
閱讀更多 量子位 的文章
