點擊上方關注，All in AI中國
A.I.冬季
神經網絡的概念一開始出現的時候並不令人意外，它是大腦中神經元如何運作的模型，被稱為“連接主義”，並使用連接電路來模擬智能行為。
1943年，神經生理學家Warren McCulloch和數學家Walter Pitts用簡單的電路描繪了這一模型。唐納德·赫伯在他的著作《行為組織》（1949）中進一步提出了這個想法，提出神經通路在每次連續使用時都會加強，特別是在同時發射的神經元之間，從而開啟了量化複雜過程的長途旅程。
作為神經網絡前身的兩個主要概念是
'閾值邏輯' - 將連續輸入轉換為離散輸出
“Hebbian學習” - 一種基於神經可塑性的學習模型，由Donald Hebb在其著作《行為組織》中提出，通常用“一起發射的神經細胞，連接在一起”這一句話來概括
兩者都是在20世紀40年代提出的。 20世紀50年代，隨著研究人員開始嘗試將這些網絡轉換為計算系統，第一個Hebbian網絡於1954年在麻省理工學院成功實施。
大約在這個時候，康奈爾大學的心理學家弗蘭克羅森布拉特正致力於理解蒼蠅眼中存在的相對簡單的決策系統，該決策系統是飛行反應的基礎和決定因素。為了理解和量化這個過程，他在1958年提出了一個Perceptron的想法，稱之為Mark I Perceptron。這是一個具有簡單輸入輸出關係的系統，以McCulloch-Pitts神經元為模型，由神經科學家Warren S. McCulloch以及Walter Pitts於1943年提出了一種基於McCulloch-Pitts神經元的簡單輸入輸出關係的系統。 McCulloch-Pitts神經元接受輸入，接受加權和，如果結果低於閾值則返回'0'，否則返回'1'。
Mark I Perceptron的美妙之處在於它的權重將通過連續傳遞的輸入“學習”，同時最小化期望輸出和實際輸出之間的差異。
第一個已知的Mark I Perceptron實現。該機器連接到使用20×20硫化鎘光電池的相機，以產生400像素的圖像。主要的可見功能是一個配線板，允許使用不同的輸入功能組合進行實驗。右邊是電位計陣列，它們實現了自適應權重。[wiki]
一個主要缺點？這種感知器只能學會分離線性可分離的類，使簡單但非線性的排他電路變成一個不可逾越的障礙。
儘管使用機器學習來量化除大腦之外的決策系統時出現了混亂且有些令人不滿意的問題，但今天的人工神經網絡只不過是這些感知器的幾個層次。
對於神經網絡來說，事情在這個時期開始迅速發展，1959年在斯坦福大學，Bernard Widrow和Marcian Hoff開發出第一個成功應用於現實世界問題的神經網絡。這些系統在使用多個ADAptive LINear元素後被命名為ADALINE和MADALINE，後者專門用於消除電話線路中的噪音，至今仍在使用。然而，這些人工神經元與它們作為輸出返回的感知器不同，在這種情況下是加權輸入。
正如歷史上人工智能技術的每一次小改進一樣，這些早期的成功引發了對神經網絡的能力和潛力的不斷誇大，同時研究人員正在反對一個接一個的障礙。在圍繞這些“思考機器”的炒作高潮時，紐約時報發表了這篇關於神經網絡潛力的文章。
和之前的幾次“死裡逃生”一樣，我們仍然距離有意識的人造生命還很遠，也遠沒有我們想象的那麼恐怖。其中一個問題是運行這些網絡所需的運行時間長得不切實際，因為當時是60年代，除了無法學習簡單的布爾唯一性或電路外。
所有這一切都在1969年結束了，麻省理工學院AI實驗室的創始人Marvin Minsky和實驗室主任Seymour Papert出版了一本書《Perceptrons》。該書最終認為，羅森布拉特對神經網絡的單一感知方法無法有效地轉化為多層神經網絡。為了評估基於最終輸出在層上擴散的神經元的權重的正確相對值，將需要幾次（如果不是無限次數）迭代並且將花費很長時間來計算。
Minsky 在他的文本中提出了神經網絡的這些問題，並在科學界產生了更大的影響力，最重要的是資助機構得出的結論是，在這方面的進一步研究將無疾而終。顯然，這篇文章的效果是強大的，在接下來的10 - 12年裡，當時最大的研究機構中沒有人接受任何具有該項目的項目，更不必說是較小的研究機構了。當然這些都是以失敗的神經網絡為前提的。也就是說，現在著名的“人工智能冬天”的時代就從這兒已經開始。
這個十年漫長的冬季於1982年在美國國家科學院開始解凍，當時Jon Hopfield在美國 - 日本合作/競爭神經網絡會議上發表了關於後來被稱為Hopfield Net的論文，日本宣佈它打算向著第五代神經網絡努力。不久，美國物理研究所於1985年建立了“神經網絡計算”年會，隨後於1987年由電氣和電子工程師協會（IEEE）召開了第一屆神經網絡國際會議。
然而，這是對自60年代以來已經存在的一個概念的重新發現，它幫助神經網絡走出了過早的墳墓。反向傳播是自60年代以來研究人員設計，並在AI冬季不斷髮展的一種方法，是一種基於直覺的方法，它將每個事件的重要性降低，因為人們在事件鏈中走得更遠。第一個看到他們潛在的神經網絡和解決如何為MLP翻譯的問題的人是Paul Werbos，他的一部分靈感來自於人類思維的應用，以及弗洛伊德關於信用分配後向流動的工作，他寫了博士論文闡述他們的重要性。然而，在Parker發表關於他在M.I.T.的工作的報告之前，社區中的任何人都沒有注意到這項工作。只有在被Rumelhart、Hinton和Williams重新發現並在一個清晰而詳細的框架中重新發布後，該技術才如風暴一樣接管了社區。同一作者還討論了明斯基在其1969年出版物中後面的文章中提出的具體缺點。
反向傳播與梯度下降形成了神經網絡的支柱和動力。當Gradient Descent不斷更新並將權重和偏差移向成本函數的最小值時，反向傳播會評估成本函數的梯度w.r.t.權重和偏差，其大小和方向用於梯度下降，以評估權重和偏差參數校正的大小和方向。
一個簡單的運動到一個二維函數的最小值的視覺描述。跳躍的步長由每一點的梯度值決定
因此，到了1990年代，神經網絡肯定又回來了，這一次真正吸引了世界的想象力，並最終與其預期相提並論。再一次，我們對人工智能提出了同樣的問題，並將我們人類的恐懼投射到了人工智能上。
編譯出品
閱讀更多 AI中國 的文章
