深度学习的「深」，更多是指模型的层数深。然而，卷积神经网络单纯的堆叠层数，会出现梯度消失、梯度退化和网络退化的问题。2015年何凯明，张翔宇，任少卿，孙剑四位华人提出ResNet。
- 不断的提高网络性能
- 达到最优性能时多余的网络层做恒等映射
模型结构
- 构建残差块
- 堆叠残差块
残差块Residual block
如上图，在原来的普通的网络基础上，每两层加上一个捷径连接(hortcut connection),H(x) = F(x) + x，构成一个残差块。多个残差块堆叠成一个残差网络。
卷积核
上图左：ResNet34 两层残差单元使用两个3*3的卷积核。
上图右：ResNet50/101/152 三层残差单元使用1*1、3*3、1*1卷积核
ResNet34
感受一下34层的深度残差网络的结构图：
shortcut connections（捷径连接）有实线和虚线：
- 实线表示通道相同，H(x)=F(x)+x。
- 虚线表示通道不同，H(x)=F(x)+Wx，其中W是卷积操作，调整x维度的。
核心理念
假设现有一个比较浅的网络（Shallow Net）已达到了饱和的准确率，这时在它后面再加上几个恒等映射层（Identity mapping，也即y=x，输出等于输入），这样就增加了网络的深度，并且起码误差不会增加，也即更深的网络不应该带来训练集上误差的上升。而这里提到的使用恒等映射直接将前一层输出传到后面的思想，便是著名深度残差网络ResNet的灵感来源。
论文地址
https://arxiv.org/abs/1512.03385
分享到:
閱讀更多 技術信仰 的文章
