问题
随着越来越多的激活函数加到神经网络中，损失函数的梯度趋近于0，使得网络结构很难训练。
原因
具体的激活函数，比如sigmoid函数，把很大的空间压缩到0和1之间。因此，sigmoid函数的输入即使变化很大也只会改变一点输出。因此，求导就变得很小。
图1：sigmoid函数以及导数
例如，图一是sigmoid函数及其导数。注意当sigmoid函数的输入变大或变小时（当|x|），导数如何接近零。
为什么这是重要的?
对于使用激活函数的仅有几层的浅层网络结构，这不是很大的问题。然而，当使用更多层的时候，可能会造成梯度太小而不能很好的训练。
神经网络的梯度是使用反向传播来找到的。简单来说，反向传播通过将网络从最终层逐层移动到初始层来找到网络的导数。 通过链式的规则，将各层的导数乘上网络（从最终层到初始层），计算出初始层的导数。
然而，当有n个隐藏层使用像sigmoid的激活函数时，n个小的倒数相乘。因此，当我们反向传到初始层的时候，梯度会大幅度下降。
一个小的梯度意味着初始层的权重和偏差不会在训练中得到有效更新。由于这些初始层通常对识别输入数据的核心元素至关重要，因此可能导致整个网络的整体不准确。
解决方案
最简单的解决方案是使用激活函数，像ReLU，不会导致一个小的导数。
残差网络是另外一个解决方案，因为提供了残差与之前的层直接连接。就像图2中，残差连接直接将block的开头x的值添加到block（F(x)+x）的结尾。雷锋网(公众号：雷锋网)雷锋网雷锋网
这个残差连接不通过“挤压”的激活函数，从而导致block的整体倒数更大。
图2：残差层
小编个人注解：精髓就在于直接连过来的那个x了。h（x）＝f（x）＋ x，h（x）对 x 求偏导，值为1，这个1直接传到block的最前端，保证了来自后一层的梯度值完好的传过了这一层然后进入到前一层，使得浅层的weights也可以得到很好的训练。
最后，batch normalization层还可以解决这个问题。如前所述，当一个大的输入空间映射到一个小的输入空间时，问题就出现了，导致导数消失。 在图1中，很清晰看到|x|变大的时候。bath normalization通过简单地规范化输入来减少这个问题，这样x就不会到达sigmoid函数的外边缘。如图3所示，它对输入进行了规范化，使其大部分落在绿色区域，其中导数不太小。
图三： 限制输入的sigmoid 函数
所以小编特意让我导师给我们把讲解的给录制下来了，如果要是想领取这个学习视频的可以私信给小编，顺便帮小编转发一下让更多的人来学习。
閱讀更多 AI智能者 的文章
