深度神經網絡有許多單個神經元組成，它們用複雜的方式組合後能解決許多富有挑戰性的問題。複雜性讓神經網絡的功能強大，但是同樣也會讓人覺得迷惑，更像是一個黑盒。DeepMind研究人員通過刪除神經網絡中的神經元，估計每個神經元對網絡的重要程度。以下是論智對原文的編譯。

理解深度神經網絡對於解釋它們的決策非常重要，還能幫助我們打造更強大的系統。就像是不瞭解內部齒輪的構造，就想製作一個鐘錶，難度可想而知。在神經科學和深度學習領域，理解神經網絡的一個方法是探索單獨神經元的作用，尤其是那些非常容易解讀的。

在我們的論文On the importance of single directions for generalisation中，經過幾十年神經科學的實驗研究，我們在此基礎上研究了損壞的影響，確定了神經網絡中少量神經元有多大重要性？是否那些容易解釋的神經元在網絡計算中的作用就越重要？

通過刪除單一神經元以及少量神經元，我們測量了其對性能的影響，最後得到兩個重要的發現：

• 雖然之前很多研究都更注重瞭解容易解釋的單個神經元（比如“cat neurons”或者深度網絡隱藏層中的神經元，它們只會對貓的圖片有反應），我們發現這些可解釋的神經元並不如難解釋的混淆神經元更重要。

• 能正確區分陌生圖片的網絡比那些只能區分曾經見過的照片的網絡更能適應神經元的減少。換句話說，泛化能力良好的網絡對單一方向的依賴程度遠低於依靠記憶的網絡。

貓神經元也許更容易解釋，但它們並不是更重要

在神經科學和深度學習中，人們分析了很多容易解釋的神經元（“選擇性”神經元），它們只能對輸入圖像的單一類別做出反應。在深度學習中，典型的有貓神經元、情感神經元和小括號神經元；在神經科學中，最常見的是詹妮弗·安妮斯頓神經元等等。然而，這些常被用來進行實驗的神經元是否真的比其他不常見、更難以解釋的神經元更重要呢？

對特定類別有明顯反應的神經元（例如對貓有反應，對其他物體沒有反應）比其他混亂的神經元更容易解釋

為了測量神經元的重要性，我們讓網絡進行圖像分類任務，檢測當神經元被刪除時它的性能如何變化。如果一個神經元非常重要，那麼刪掉它後，它的性能一定會受到很大影響，如果它並不重要，那麼對性能的影響也是微乎其微。神經科學家們經常做類似的實驗，儘管他們達不到這些實驗所需要的精確度，而且也不能等同於人工神經網絡的情況。

刪除神經元對神經網絡的影響，顏色越深就越活躍（原網站可以體驗刪除過程）

令人驚訝的是，我們發現神經元的選擇性和重要性之間的關係並不大。換句話說，“貓神經元”不比其他神經元重要。這一發現也驗證了最近神經科學的一項研究成果，認為那些令人迷惑的複雜神經元同樣含有大量信息，並且他們認為我們必須更深入瞭解易解釋神經元以外的東西，才能更好地瞭解深度神經網絡。

雖然可解釋的神經元在直覺上更容易理解，但它們並不比混淆神經元更重要。

泛化更好的網絡更難被打破

我們致力於打造智能系統，只有一個系統能生成新情況的才能被稱作智能。例如，一個圖像分類網絡只能對其所見過的小狗圖像進行分類，一旦看到新的小狗圖像，它就失效了。只有在新例子的智能分類中，這些系統才能發揮作用。谷歌大腦、伯克利和DeepMind共同合作的、最近獲得ICLR 2017最佳論文的成果表明，深度網絡可以簡單地記住它們接受訓練的每個圖像，而不是以人類的方式學習。

然而，我們還不知道網絡是否已經學會了生成新情況的解決方案。隨著刪除的神經元組越來越大，我們發現，相比於以往訓練時簡單記憶的網絡，泛化良好的網絡面對刪除的穩健性要強的多。換句話說，泛化好的網絡很難被打破（儘管最終它們仍然會被打破）。

刪除掉大量神經元后，泛化較好的網絡性能減少的比記憶的網絡更慢

通過這種方法測量網絡的穩定性，我們可以評估一個網絡是否在利用不良記憶進行“欺騙”。瞭解了網絡記憶時的變化將有助於我們建立新的網絡，這種網絡較少運用記憶，更多的是泛化。

首神經科學啟發的分析

至此，所有有關神經網絡的發現都來源於神經科學的探索。利用這些方法，我們發現經常被選用的單個神經元並不比不選用的神經元重要。同時，泛化較好的網絡比單獨用記憶的網絡穩定性更好。通過探索所有神經元的角色，我們希望不僅對這些易於解釋的進行研究，還要了解神經網絡的深層結構，更重要的是，利用這些成果打造更智能、更通用的系統。