吳恩達深度學習筆記(15)-淺層神經網絡之神經網絡概述

神經網絡概述(Neural Network Overview)

吳恩達深度學習筆記(15)-淺層神經網絡之神經網絡概述

從今天開始你將學習如何實現一個神經網絡。這裡只是一個概述,詳細的在後面會講解,看不懂也沒關係,先有個概念,就是前向計算然後後向計算,理解了這個就可以了,有一些公式和表達在後面會詳細的講解。

在我們深入學習具體技術之前,我希望快速的帶你預覽一下後續幾天你將會學到的東西。

現在我們開始快速瀏覽一下如何實現神經網絡。之前我們討論了邏輯迴歸,我們瞭解了這個模型(見圖)如何與下面公式建立聯繫。

吳恩達深度學習筆記(15)-淺層神經網絡之神經網絡概述

公式1:

吳恩達深度學習筆記(15)-淺層神經網絡之神經網絡概述

公式1

如上所示,首先你需要輸入特徵x,參數w和b,通過這些你就可以計算出z,

公式2:

吳恩達深度學習筆記(15)-淺層神經網絡之神經網絡概述

接下來使用z就可以計算出a。

我們將的符號換為表示輸出y^⟹a=σ(z),然後可以計算出loss function L(a,y)

神經網絡看起來是如下這個樣子(如下圖)。正如我之前已經提到過,你可以把許多sigmoid單元堆疊起來形成一個神經網絡。對於上圖中的節點,它包含了之前講的計算的兩個步驟:首先通過上面公式計算出值z,然後通過σ(z)計算值a。

吳恩達深度學習筆記(15)-淺層神經網絡之神經網絡概述

在這個神經網絡(上圖)對應的3個節點,首先計算第一層網絡中的各個節點相關的數z^[1],接著計算α^[1],在計算下一層網絡同理;

我們會使用符號[m]表示第m層網絡中節點相關的數,這些節點的集合被稱為第m層網絡。

這樣可以保證[m]不會和我們之前用來表示單個的訓練樣本的(i)(即我們使用表示第i個訓練樣本)混淆;

整個計算過程,公式如下:

公式3:

吳恩達深度學習筆記(15)-淺層神經網絡之神經網絡概述

公式4:

吳恩達深度學習筆記(15)-淺層神經網絡之神經網絡概述

類似邏輯迴歸,在計算後需要使用計算,接下來你需要使用另外一個線性方程對應的參數計算z^[2], 計算a^[2],此時a^[2]就是整個神經網絡最終的輸出,用 y^表示網絡的輸出。

公式5

吳恩達深度學習筆記(15)-淺層神經網絡之神經網絡概述

公式6:

吳恩達深度學習筆記(15)-淺層神經網絡之神經網絡概述

我知道這其中有很多細節,其中有一點非常難以理解,即在邏輯迴歸中,通過直接計算z得到結果a。而這個神經網絡中,我們反覆的計算z和a,計算a和z,最後得到了最終的輸出loss function。

你應該記得邏輯迴歸中,有一些從後向前的計算用來計算導數da、dz。同樣,在神經網絡中我們也有從後向前的計算,看起來就像這樣,最後會計算da^[2] 、dz^[2],計算出來之後,然後計算計算dW^[2]、db^[2] 等,按公式3.5、3.6箭頭表示的那樣,從右到左反向計算。

現在你大概瞭解了一下什麼是神經網絡,基於邏輯迴歸重複使用了兩次該模型得到上述例子的神經網絡。

話說回來,我們就像是在認識李清照,現在看到的是李糊照,所以不要擔心(安慰)。

吳恩達深度學習筆記(15)-淺層神經網絡之神經網絡概述


分享到:


相關文章: