Limit of Linear Model

實際要調整的參數很多

Google 深度學習筆記 - Limit of Linear Model

如果有N個Class,K個Label,需要調整的參數就有(N+1)K個

Linear Model不能應對非線性的問題

Google 深度學習筆記 - Limit of Linear Model

Linear Model的好處

GPU就是設計用於大矩陣相乘的,因此它們用來計算Linear Model非常高效

Stable:input的微小改變不會很大地影響output

Google 深度學習筆記 - Limit of Linear Model

求導方便:線性求導是常數

Google 深度學習筆記 - Limit of Linear Model

我們想要參數函數是線性的,但整個model是非線性的

所以需要對各個線性模型做非線性組合

最簡單的非線性組合:分段線性函數(RELU)

Google 深度學習筆記 - Limit of Linear Model

來源:ahangchen / https://github.com/ahangchen/GDLnotes ,只作分享,不作任何商業用途,版權歸原作者所有


分享到:


相關文章: