「码上一课」快而准,经典的轻量级深度神经网络(论文代码)

【码上一课】该专栏于每日不定时更新,更新内容主要为人工智能与深度学习领域的论文开源源代码,欢迎大家关注订阅小编,让知识分享于你我他之间!

「码上一课」快而准,经典的轻量级深度神经网络(论文代码)

今天为大家分享三个经典的轻量级的网络结构:

SqueezeNet:

SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 0.5 MB model size.

同等精度比AlexNet小50倍,<0.5M的模型大小。SqueezeNet的核心设计理念是模型可以不快但一定要小,分析三个设计策略:

1.用CONV1x1代替CONV3x3,大量CONV3x3被替换,大幅减少参数和计算量;

2.用squeeze层减少输入到CONV3x3的通道数,继续减少剩余CONV3x3层的参数数量和计算量;

3.延迟下采样,保持激活的分辨率较大,同等参数数量效果更好,但这样会严重增加计算量;

论文下载:https://arxiv.org/pdf/1602.07360.pdf

代码链接 :https://github.com/DeepScale/SqueezeNet


MobileNet:

Mobilenets: Efficient convolutional neural networks for mobile vision applications.

「码上一课」快而准,经典的轻量级深度神经网络(论文代码)

MobileNet是第一个面向移动端的小网络,设计兼顾模型小和速度快,由Google于2017年发布的网络架构,旨在充分利用移动设备和嵌入式应用的有限的资源,有效地最大化模型的准确性,以满足有限资源下的各种应用案例。Mobilenet也可以像其他流行模型(如VGG,ResNet)一样用于分类、检测、嵌入和分割等任务提取图像卷积特征。Mobilenet v1核心是把卷积拆分为Depthwise+Pointwise两部分。

「码上一课」快而准,经典的轻量级深度神经网络(论文代码)

「码上一课」快而准,经典的轻量级深度神经网络(论文代码)

论文下载:https://arxiv.org/pdf/1704.04861.pdf

代码链接:https://github.com/Zehaos/MobileNet

ShuffleNet:

Zhang X, Zhou X, Lin M, et al. ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices[C]// CVPR, 2018.

ShuffleNet是Face++提出的一种轻量化网络结构,主要思路是使用Group convolution和Channel shuffle改进ResNet,可以看作是ResNet的压缩版本。

「码上一课」快而准,经典的轻量级深度神经网络(论文代码)

ShuffleNet第一步就是把block中的CONV1x1变成了分组卷积GCONV1x1降低计算量和参数数量.

「码上一课」快而准,经典的轻量级深度神经网络(论文代码)

论文下载:https://arxiv.org/pdf/1707.01083.pdf

代码链接:https://github.com/farmingyard/ShuffleNet



分享到:


相關文章: