sunny__小点
这个问题比较适合用图片回答。
这是sigmoid
这是tanh
这两个图像（图中的黑线）是不是长得很像？
当然了，毕竟sigmoid线性变换一下就得到了tanh：
如果要说不同的话，tanh比sigmoid更陡峭（上图中的红线为两者的导数）。所以，理论上，用作激活函数时，如果你希望梯度更“激烈”一点，那就选tanh，反之，如果希望梯度更“平缓”一点，那就选sigmoid。不过，实践中，其实这两个都不怎么用，现在是ReLU的时代了。
另外，sigmoid的值域是0到1，而tanh的值域是-1到1，所以，在这个ReLU系占主流的年代，sigmoid仍然“坚守”着分类层。
分享到:
