「碼上一課」快而准,經典的輕量級深度神經網絡(論文代碼)

【碼上一課】該專欄於每日不定時更新,更新內容主要為人工智能與深度學習領域的論文開源源代碼,歡迎大家關注訂閱小編,讓知識分享於你我他之間!

「碼上一課」快而準,經典的輕量級深度神經網絡(論文代碼)

今天為大家分享三個經典的輕量級的網絡結構:

SqueezeNet:

SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 0.5 MB model size.

同等精度比AlexNet小50倍,<0.5M的模型大小。SqueezeNet的核心設計理念是模型可以不快但一定要小,分析三個設計策略:

1.用CONV1x1代替CONV3x3,大量CONV3x3被替換,大幅減少參數和計算量;

2.用squeeze層減少輸入到CONV3x3的通道數,繼續減少剩餘CONV3x3層的參數數量和計算量;

3.延遲下采樣,保持激活的分辨率較大,同等參數數量效果更好,但這樣會嚴重增加計算量;

論文下載:https://arxiv.org/pdf/1602.07360.pdf

代碼鏈接 :https://github.com/DeepScale/SqueezeNet


MobileNet:

Mobilenets: Efficient convolutional neural networks for mobile vision applications.

「碼上一課」快而準,經典的輕量級深度神經網絡(論文代碼)

MobileNet是第一個面向移動端的小網絡,設計兼顧模型小和速度快,由Google於2017年發佈的網絡架構,旨在充分利用移動設備和嵌入式應用的有限的資源,有效地最大化模型的準確性,以滿足有限資源下的各種應用案例。Mobilenet也可以像其他流行模型(如VGG,ResNet)一樣用於分類、檢測、嵌入和分割等任務提取圖像卷積特徵。Mobilenet v1核心是把卷積拆分為Depthwise+Pointwise兩部分。

「碼上一課」快而準,經典的輕量級深度神經網絡(論文代碼)

「碼上一課」快而準,經典的輕量級深度神經網絡(論文代碼)

論文下載:https://arxiv.org/pdf/1704.04861.pdf

代碼鏈接:https://github.com/Zehaos/MobileNet

ShuffleNet:

Zhang X, Zhou X, Lin M, et al. ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices[C]// CVPR, 2018.

ShuffleNet是Face++提出的一種輕量化網絡結構,主要思路是使用Group convolution和Channel shuffle改進ResNet,可以看作是ResNet的壓縮版本。

「碼上一課」快而準,經典的輕量級深度神經網絡(論文代碼)

ShuffleNet第一步就是把block中的CONV1x1變成了分組卷積GCONV1x1降低計算量和參數數量.

「碼上一課」快而準,經典的輕量級深度神經網絡(論文代碼)

論文下載:https://arxiv.org/pdf/1707.01083.pdf

代碼鏈接:https://github.com/farmingyard/ShuffleNet



分享到:


相關文章: