用一個RELU作為中介，一個Linear Model的輸出作為其輸入，其輸出作為另一個Linear Model的輸入，使其能夠
解決非線性問題
神經網絡並不一定要完全像神經元那樣工作
Chain Rule：複合函數求導規律
大量可重用的數據，易於實現（簡單的數據流）
Back propagation
計算train_loss時，數據正向流入，計算梯度時，逆向計算
計算梯度需要的內存和計算時間是計算train_loss的兩倍
利用上面的知識，結合lesson1中的SGD，訓練一個全連接神經網絡：神經網絡實踐
來源：ahangchen / https://github.com/ahangchen/GDLnotes ，只作分享，不作任何商業用途，版權歸原作者所有
分享到:
閱讀更多 科科大數據 的文章
