點擊上方關注，All in AI中國
眾所周知，深度神經網絡的最基本單位被稱為人工神經元/感知器。但是，我們今天使用的感知器是由McCulloch和Pitts在1943年通過模仿生物神經元的功能而獲取的。
生物神經元：一個簡化的例子
樹突：接收來自其他神經元的信號
Soma：處理信息
軸突：傳輸這個神經元的輸出
突觸：與其他神經元的連接點
基本上，神經元接受輸入信號（樹突），像處理CPU（soma）一樣處理它，通過類似電纜的結構將輸出傳遞給其他相連的神經元（軸突與突觸到其他神經元的樹突）。這可能在生物學上是不準確的，因為還有更多的事情在發生，但在更高的層次上，這就是我們大腦中的神經元正在發生的事情——接受一個輸入，處理它，然後得到一個輸出。
我們的感覺器官與外部世界相互作用，並將視覺和聲音信息發送給神經元。假設你在和你的朋友聊天。現在，你的大腦收到的信息被一組"笑或不笑"的神經元接收，這些神經元將幫助你決定是否笑。每個神經元只有在滿足其各自的標準時才會被激活，如下所示。
當然，這並非完全正確。在我們的大腦中有一個大規模並行的 10¹¹神經元（1000億）互連網絡，它們之間的聯繫並不像上面所看到的那麼簡單。它們看起來可能像這樣：
現在感覺器官將信息傳遞給神經元的第一層/最低層來處理它。 並且輸出以分層的方式傳遞到下一層，一些神經元將被激活，一些神經元將不會被激活，這個過程持續進行，直到它得到最終響應——在這個例子中，笑聲就是響應。
這種大規模並行網絡還確保了工作的分工。每個神經元僅在滿足其預期標準時才會被激活，即，神經元可能對某個刺激起一定的作用，如下所示。
顯然，神經元以分層方式排列，每一層都有自己的角色和職責。 為了檢測面部，大腦依賴於整個網絡而不是單個的層。
現在我們已經得知了生物神經元是如何工作的，讓我們來看看McCulloch和Pitts能提供什麼。
注意：作者對大腦如何工作的理解非常有限。以上插圖也過於簡化。
McCulloch-Pitts 神經元
第一個神經元的計算模型是由Warren McCulloch（神經科學家）和Walter Pitts（邏輯學家）在1943年提出的。
它可以分為兩部分。第一部分，g接受輸入（ahem dendrite ahem），執行聚合，再基於聚合值的第二部分，使f做出決策。
假設決定是否在電視上觀看足球比賽。輸入都是布爾值，即{0,1}，輸出變量也是布爾值{0：將觀看它，1：不會觀看它}。
· x_1可能是"isPremierLeagueOn"（更喜歡英超聯賽）
· x_2可能是"isItAFriendlyGame"（傾向於關心友誼賽）
· x_3可能是"isNotHome"（當出差的時候不能觀看）
· x_4可能是"isManUnitedPlaying"（是一名曼聯球迷）等等。
這些輸入可以是興奮性的或抑制性的。抑制性輸入是對決策產生最大影響的輸入，如果有抑制性輸入則不考慮其他輸入因素，比方說如果x_3為1（不在家中），那麼輸出將始終為0，即，神經元永遠不會被激活，因此x_3是抑制性輸入。興奮性輸入不是使神經元自身發出信號的輸入，但當它們結合在一起時，它們可能會發出信號。在形式上，這是正在發生的事情：
我們可以看到g（x）只是對輸入進行求和。這裡的theta稱為閾值參數。例如，如果總是在求和為2或大於2的時候觀看比賽，則θ在這裡為2。這稱為閾值邏輯。
使用M-P神經元的布爾函數
到目前為止，我們已經看到了M-P神經元是如何工作的。現在讓我們看看這個神經元是如何表示一些布爾函數的。請注意，我們的輸入都是布爾值，輸出也是布爾值，所以在本質上，神經元只是在試圖學習布爾函數。
M- P神經元：簡潔的表示
這種表示僅對於布爾輸入x_1，x_2和x_3時，如果g（x），即sum≥theta，則神經元將以其他方式。
AND Function(和函數）
只有當所有輸入都包含時，AND函數神經元才會被激活，即g（x）≥3。
OR Function（或函數）
如果任何輸入為ON，則OR函數神經元將被激活，即g（x）≥1。
抑制性輸入函數
這可能看起來很棘手，但實際上並非如此。在這裡，我們有一個抑制性輸入，即x_2，所以每當x_2=1時，輸出將為0。記住這一點，我們知道只有當x_1=1且x_2=0時，才會輸出1，因此顯然閾值參數應為1。
讓我們驗證一下，g（x），即x_1 + x_2僅在3種情況下≥1：
情況1：當x_1=1且x_2=0時
情況2：當x_1=1且x_2=1時
情況3：當x_1=0且x_2=1時
在情況2和情況3中，由於抑制性輸入的原因，它們的輸出將為1。
NOR函數
對於將被激活的NOR神經元，我們希望所有輸入都為0，這樣閾值參數也應為0，我們將它們全部作為抑制性輸入。
NOT Function
對於NOT神經元來說，輸入1輸出0，輸入0輸出1。因此我們將輸入作為抑制性輸入並將閾值參數設置為0。
任何布爾函數都可以用M-P神經元表示嗎？在回答這個問題之前，讓我們先了解一下M-P神經元的幾何特性。
M-P神經元的幾何解釋
OR Function（或函數）
我們已經討論過OR函數的閾值參數thetais 1，輸入為布爾值，只有4種組合可能：（0,0），（0,1），（1,0）和（1,1）。現在將它們繪製在2D圖上並利用OR函數的聚合方程。即，x_1 +x_2≥1，我們可以使用它繪製決策邊界，如下圖所示：
我們剛剛使用了聚合方程式，即x_1 + x_2 = 1，以圖形化的方式顯示，所有經過OR函數M-P神經元的輸出位於該線之上，而位於該線之下的輸入點將輸出0。
M- P神經元將輸入集分為正負兩類。正數（輸出1）是位於決策邊界上或上面的那些，負數（輸出0）是位於決策邊界之下的那些。
AND Function（和函數）
在這種情況下，決策邊界方程是x_1 + x_2 = 2。在這裡，所有輸入點都位於線之上，只有（1,1）當通過AND函數M-P神經元時輸出1。
Tautology
如果我們有超過2個輸入怎麼辦？
有3個輸入的函數
讓我們通過查看輸入OR功能M-P來概括它。在這種情況下，可能的輸入是8種：（0,0,0），（0,0,1），（0,1,0），（1,0,0），（1,0,1）...。 我們可以在3D圖上繪製這些圖，這次我們在三維中繪製決策邊界。
滿足決策邊界方程x_1 + x_2 + x_3 = 1的平面如下所示：
當通過OR函數MP單元時所有位於上方或上方的點（正半空間）將輸出1，位於該平面下方的所有點（負半空格）將輸出0。
只需手動編碼閾值參數，M-P神經元就能夠方便地表示線性可分離的布爾函數。
線性可分性（對於布爾函數）：存在一條線（平面），使得產生1的所有輸入位於線（平面）的一側，並且產生0的所有輸入位於線的另一側（平面）。
M-P神經元的侷限性
· 關於非布爾輸入的問題？
· 我們是否總是需要手動編碼閾值？
· 所有輸入都相等嗎？如果我們想要更重視某些輸入怎麼辦？
· 非線性分離的函數怎麼做？
美國心理學家弗蘭克羅森布拉特克服了M-P神經元的侷限性，於1958年提出了經典感知模型，即強大的人工神經元。它是比McCulloch-Pitts神經元更通用的計算模型，可以隨時間學習權重和閾值。
結論
在本文中，我們簡要介紹了生物神經元。然後我們建立了MuCulloch-Pitts神經元的概念，這是有史以來第一個生物神經元的數學模型。我們用M-P神經元表示了一些布爾函數。最後，我們還建立了一個更廣義模型的動機，即唯一的人工神經元/感知器模型。
閱讀更多 AI中國 的文章
