深度學習的數學-神經網絡、輸入層、隱藏層、輸出層

深度學習的數學-神經網絡、輸入層、隱藏層、輸出層


前言

前文中瞭解到,神經網絡由多個神經單元組成,而本篇博客將會了解到深度學習由多個神經網絡組成,並且分為 輸入層、隱藏層和輸出層,隱藏層涉及到的知識點最多,是本文的重點

正文

階層型的神經網絡主要結構如下圖所示,通過輸入層激活信號,再通過隱藏層提取特徵,不同隱藏層神經單元對應不同輸入層的神經單元權重和自身偏置均可能不同,輸入層興奮傳遞到隱藏層興奮,最後輸出層根據不同的隱藏層權重和自身偏置輸出結果

深度學習的數學-神經網絡、輸入層、隱藏層、輸出層

一個例子

借用書中的一個例子,目標是識別一個 4 * 3 的黑白圖像是0還是1,例子中輸入層採用了 12 個神經節點來對應 4 * 3 個像素點,然後隱藏層再使用 3 個神經單元進行特徵提取,最後輸出層再使用兩個神經節點標記識別結果是 0 或 1

深度學習的數學-神經網絡、輸入層、隱藏層、輸出層

輸入層

如上圖所示,十二個神經單元對應 4 * 3 像素(黑白),如果該像素是黑的,則對應神經元興奮,否則靜息

輸出層

輸出層負責輸出最後結果,輸出層有兩個節點,如果識別結果偏向0,那麼第一個節點興奮度會高於第二個節點,如果識別結果偏向1,那麼第二個節點興奮度會高於第一個節點

隱藏層

揹負了 特徵提取 的偉大使命,隱藏層每一個節點會對輸入層的興奮有不同的接收權重,從而更加偏向於某種識別模式

比如書中舉例,隱藏層第一個神經單元對應下圖模式A,也就是對應輸入層 4、7號神經單元接收權重比較高,對其他神經單元接受權重比較低,如果超過了神經單元自身的偏置(閾值)則會引發隱藏層的興奮,向輸出層傳遞興奮信息,隱藏層其他神經單元同理

深度學習的數學-神經網絡、輸入層、隱藏層、輸出層

各個層如何向上傳遞信息

根據上邊的介紹可知,輸入層每個神經單元直接對應原始數據,然後向隱藏層提供信息,隱藏層每個神經單元對不同的輸入層神經單元有不同的權重,從而偏向於對某種識別模式興奮;多個隱藏層的神經單元興奮後,輸出層的神經單元根據不同隱藏層的興奮加上權重後,給到不同的興奮度,這個興奮度就是模型最終識別的結果。

神經網絡中權重和偏置的作用

根據上述信息可知,權重會影響神經單元對輸入信息敏感程度,比如隱藏層的神經單元通過控制權重形成識別模式偏向,輸出層的神經單元調整對隱藏層神經單元的權重,可以形成輸出結果的偏向;

而偏置,可以理解為敏感度,如果沒有設置合適的偏置,一些“噪音”就會影響模型識別的結果,或者一些本該被識別出來的場景,但是在傳遞過程中被屏蔽掉了。

有監督學習下,如何確認權重

在這裡需要引入一個概念,『損失函數』又稱為代價函數(cost function),計算方法為預測值與學習資料中偏差值之和(誤差)的平方,有監督學習就是經過一些『學習資料』的訓練,讓模型預測的『誤差』儘量的小。

深度學習的數學-神經網絡、輸入層、隱藏層、輸出層

總結

神經網絡由多個神經單元組成,深度學習中的神經網絡可分為三層,分別是 輸入層、隱藏層和輸出層,每一層都有對應的神經網絡與下一層連接。

輸入層主要用於獲取輸入的信息,比如黑白照片的像素是黑色的還是白色的,大小主要取決於輸入信息規模;

隱藏層主要進行『特徵提取』,調整權重讓隱藏層的神經單元對某種模式形成反應

輸出層用於對接隱藏層並輸出模型結果,調整權重以對不同的隱藏層神經元刺激形成正確的反應,輸出的興奮度即為結果

其中,偏置(閾值)可以排除一些“噪音”影響,監督學習下通過『損失函數』來衡量模型是否合理,計算方法是 預測值與正解之差(誤差) 求和再平方;目標是通過學習資料的訓練,讓誤差更小;


分享到:


相關文章: