作者 | 蔣寶尚
躺屍接近三個月的OpenAI博客終於有了更新，這次它為AI研究者帶來的作品是“OpenAI Microscope”，中文譯名OpenAI 顯微鏡。
意為可以像實驗室中的顯微鏡一樣工作，幫助AI研究人員更好地理解神經網絡的結構和特徵。
博客地址：https://openai.com/blog/microscope/
說到底，這個顯微鏡更像是一個神經元可視化庫，裡面包含了歷史上重要且普遍研究的計算機視覺模型，如2012年ImageNet挑戰賽冠軍AlexNet，2014年的ImageNet冠軍GoogleNet（又名Inception V1）和ResNet v2。
1
OpenAI Microscope
顯微鏡地址：https://microscope.openai.com/models
如上圖所示，初始版本包含8個計算機視覺領域的神經網絡模型。每個神經網絡都用可視化的形式展示了一些重要神經元的內部結構。
OpenAI在研究中提到：現代神經網絡模型強大的能力來源於成千上萬個神經元相互作用，
但神經元之間的“協作”一直是個迷，OpenAI 發佈的這個顯微鏡能夠幫助快速探索這些神經元。
例如，一位研究人員可能會推測：
InceptionV1 4c:447 is a car detector which is built from a wheel detector (4b:373) and a window detector (4b:237)。
InceptionV1 4c:447是由車輪檢測器（4b:373）和車窗檢測器（4b:237）組成的汽車檢測器。
那麼，用OpenAI 顯微鏡就可以評估該推測，並發現新事物。
例如，OpenAI顯微鏡對AlexNet的觀察，如上動圖所示，從最初的一張完整圖片開始，經歷了神經網絡提取特徵，最後圖片會“虛化”成一些彩色線條。
這中間發生了什麼？顯然，弄清楚神經網絡中間的運行過程非常重要。
如上，點擊神經網絡的每一層，OpenAI 顯微鏡都會對處理圖片的過程進行可視化的展示，具體到每一個神經元都會對應一張處理後的圖片。非常清晰的展示了每一張圖片的“漸進”過程。
據OpenAI介紹，這種探索神經元的過程，對另一份神經網絡可解釋性研究《Zoom In: An Introduction to Circuits》提供了意想不到的幫助。
“顯微鏡”技術基於兩個概念：模型中的位置和技術。形象一些的講，位置就是你把顯微鏡對準的地方，技術就是你給它貼上什麼樣的透鏡。
模型由“節點”（神經網絡層）圖組成，這些圖通過“邊”相互連接。每個操作包含數百個“單元”，大致類似於神經元。
值得注意的是，其使用的大多數技術僅在特定分辨率下才有用。例如，特徵可視化只能指向一個“單元”，而不是其父“節點”。
另外，在給出這個工具的同時，OpenAI也給出了幾點對可解釋性研究的貢獻：
1、所有的模型和可視化都已經開源，且“顯微鏡”中所有的可視化都是用lucid庫生成。
2、能夠將模型和神經元相互聯繫起來，可以立即對神經元進行審查和進一步探索。
3、可訪問性，通過共享可視化研究，保持高度的可訪問性。
正如生物學家專注於研究少數“模型生物”一樣，“顯微鏡”也專注於詳細探索少數模型。OpenAI的初始版本包括九個常用的視覺模型，未來幾個月會擴展到其他模型。
也就是說，目前僅提供DeepDream和函數可視化功能，尚未支持定製模型可視化探索。
2 可解釋性研究：源於DeepDream
可解釋性和確定性在機器學習系統方面是一個寬泛的話題，設法瞭解神經網絡在那些層的函數中具體在做什麼是一大挑戰。
但弄清楚應該如何選擇初始化參數這類問題，必須瞭解神經網絡的本質。
AI研究員們也一直朝著這個方向努力。除了Microscope下的神經元可視化之外，近年來的一些工作也試圖可視化機器學習模型。
例如，Facebook在去年春天推出的Captum，便嘗試了使用可視化技術來解釋機器學習模型做出的決策。作為基於 Pytorch 的一個模型解釋庫，其功能強大、靈活且易於使用，併為所有最新的算法提供瞭解釋性，能夠幫助研究人員及開發者更好地理解對模型預測結果產生作用的具體特徵、神經元及神經網絡層。
在當時，Facebook也推出了Captum Insight 的試用版，基於 Captum 構建，提供瞭解釋性的可視化功能。
而在2019年3月，OpenAI和谷歌也曾發佈用於可視化機器學習算法做出的決策的激活地圖技術（Activation Atlases）；
如果將之前的研究比作在算法的視覺字母表中顯示單個字母，那麼激活地圖集則提供了整個字典，它能夠顯示字母是如何組合在一起製作實際詞彙。
激活地圖集建立在特徵可視化的基礎上，將關注點從單個神經元轉移到可視化這些神經元所共同代表的空間。
顯然，今天“顯微鏡”的這項工作也集成、藉助了之前的激活地圖技術。
追根溯源，所有的此類可視化研究或許可以歸結為一項名為DeepDream的早期實驗，這是2015年發佈的計算機視覺計劃，意圖將任何圖片變成了自身的“幻覺”版本。
DeepDream展示了google神經網絡模型對輸入圖片的理解,類似於“深度盜夢”，由於畫風詭異，其被認為在某些方面，定義了所謂人工智能美學。
或許，從那時候，AI研究人員就對神經網絡模型眼中的世界產生了好奇，開啟了可解釋性探秘之路。
正如OpenAI的Chris OlahOlah曾經說過的那樣：“在某些方面，這一切都始於DeepDream。”
閱讀更多 AI科技評論 的文章
