sunny__小點
這個問題比較適合用圖片回答。
這是sigmoid
這是tanh
這兩個圖像（圖中的黑線）是不是長得很像？
當然了，畢竟sigmoid線性變換一下就得到了tanh：
如果要說不同的話，tanh比sigmoid更陡峭（上圖中的紅線為兩者的導數）。所以，理論上，用作激活函數時，如果你希望梯度更“激烈”一點，那就選tanh，反之，如果希望梯度更“平緩”一點，那就選sigmoid。不過，實踐中，其實這兩個都不怎麼用，現在是ReLU的時代了。
另外，sigmoid的值域是0到1，而tanh的值域是-1到1，所以，在這個ReLU系佔主流的年代，sigmoid仍然“堅守”著分類層。
分享到:
