【码上一课】该专栏于每日不定时更新,更新内容主要为人工智能与深度学习领域的论文开源源代码,欢迎大家关注订阅小编,让知识分享于你我他之间!
今天为大家分享三个经典的轻量级的网络结构:
SqueezeNet:
SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 0.5 MB model size.
同等精度比AlexNet小50倍,<0.5M的模型大小。SqueezeNet的核心设计理念是模型可以不快但一定要小,分析三个设计策略:
1.用CONV1x1代替CONV3x3,大量CONV3x3被替换,大幅减少参数和计算量;
2.用squeeze层减少输入到CONV3x3的通道数,继续减少剩余CONV3x3层的参数数量和计算量;
3.延迟下采样,保持激活的分辨率较大,同等参数数量效果更好,但这样会严重增加计算量;
论文下载:https://arxiv.org/pdf/1602.07360.pdf
代码链接 :https://github.com/DeepScale/SqueezeNet
MobileNet:
Mobilenets: Efficient convolutional neural networks for mobile vision applications.
MobileNet是第一个面向移动端的小网络,设计兼顾模型小和速度快,由Google于2017年发布的网络架构,旨在充分利用移动设备和嵌入式应用的有限的资源,有效地最大化模型的准确性,以满足有限资源下的各种应用案例。Mobilenet也可以像其他流行模型(如VGG,ResNet)一样用于分类、检测、嵌入和分割等任务提取图像卷积特征。Mobilenet v1核心是把卷积拆分为Depthwise+Pointwise两部分。
论文下载:https://arxiv.org/pdf/1704.04861.pdf
代码链接:https://github.com/Zehaos/MobileNet
ShuffleNet:
Zhang X, Zhou X, Lin M, et al. ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices[C]// CVPR, 2018.
ShuffleNet是Face++提出的一种轻量化网络结构,主要思路是使用Group convolution和Channel shuffle改进ResNet,可以看作是ResNet的压缩版本。
ShuffleNet第一步就是把block中的CONV1x1变成了分组卷积GCONV1x1降低计算量和参数数量.
论文下载:https://arxiv.org/pdf/1707.01083.pdf
代码链接:https://github.com/farmingyard/ShuffleNet
閱讀更多 深度學習思考者 的文章