1、卷積不一定只在同一組中進行---Group convolution
優點：可以有效的減少網絡的參數（參考AlexNet和Shuffle Net）
2、卷積核不一定越大越好
之前的觀念是，卷積核尺度越大，則感受野越大，看到的圖片信息越多，因此獲得的特徵越好。但是大的卷積核會導致計算量的暴增，不利於模型深度的增加，計算性能也會降低。在VGG（最早使用）、Inception網絡中，利用2個3×3卷積核的組合比1個5×5卷積核的效果更佳，同時參數量（3×3×2+1 VS 5×5×1+1）被降低，因此採用3×3卷積核是更好的選擇。
3、每層卷積層可以採用多種尺度卷積核的組合
傳統的層疊式網絡，基本上都是卷積層的堆疊，每層只用一個尺寸的卷積核，例如VGG結構中使用了大量的3×3卷積層。事實上，同一層feature map可以分別使用多個不同尺寸的卷積核，以獲得不同尺度的特徵，再把這些特徵結合起來，得到的特徵往往比使用單一卷積核的要好，Inception系列的網絡，就使用了多個卷積核的結構，證明了該結構的有效性。
4、如何減少卷積層參數量—Bottleneck
如果僅僅引入多個尺寸的卷積核，會帶來大量的額外的參數，為了解決這個問題，引入1×1的卷積核。
5、對於深層網絡，引入ResNet/DenseNet殘差結構
當層數加深時，網絡的表現越來越差，很大程度上的原因是因為當層數加深時，梯度消散得越來越嚴重，以至於反向傳播很難訓練到淺層的網絡。而skip connection可以有效的解決。
6、卷積操作必須同時考慮特徵通道和區域嗎？---DepthWise操作（MobileNet）
（a)
(b)
標準的卷積過程如左上圖，一個2×2的卷積核在卷積時，對應圖像區域中的所有通道均被同時考慮，問題在於，為什麼一定要同時考慮圖像區域和通道？我們為什麼不能把通道和空間區域分開考慮？
Xception和上述介紹的MobileNet就是給予上述的問題進行了改進，提出了DepthWise connection（簡稱DW）。一個depthwise操作比標準的卷積操作降低不少的參數量，同時相關論文中指出這個模型得到了更好的分類效果。
7、卷積網絡中的特徵通道不一定都是平等的—---SENet
無論是在VGG16、Inception、DenseNet或者ShuffleNet裡面，我們對所有通道產生的特徵都是不分權重直接結合的，那為什麼要認為所有通道的特徵對模型的作用就是相等的呢？ImageNet2017 冠軍SENet的出現，證明了不同的特徵不一定是平等的（有點類似注意力機制）。
8、讓固定大小的卷積核有更大的感受野-----dilated convolution
在設計網絡時候，可以考慮引入空洞卷積，如RFBNet根據人類的視覺特點設計了擁有不同尺度的空洞卷積的組合。
關鍵字: 尺度 convolution 引入
