第1个回答 2022-07-07
本文主要介绍移动端网络架构中常用模块深度可分离卷积、分组卷积和Ghost模块的原理，并汇总对应相关网络的性能。
1.深度可分离卷积系列
mobilenet v1网络将普通卷积转换为depthwise seperable卷积计算和pointwise卷积计算两部分；如图1所示
其中速度加速比约为卷积核的平方
mobilenet v2在v1基础上提出线性bottleneck和逆残差连接，如图2所示，首先通过1x1卷积升维，然后做非线性操作，然后通过depthwise卷积操作，然后再通过1x1卷积降维，最后通过残差操作连接，其中线性bottleneck避免非线性操作引起的特征丢失。
mobilenet v3在v2基础上进一步增加squeeze and exciate模块,如图3所示，并通过网络架构搜索方式得到最终网络架构。
efficient 网络在base基础网络基础上，对图像分辨率、网络宽度、网络层数等三个要素进行组合搜索确定最优网络架构。
2.分组卷积
分组卷积中将输入特征分组，输出特征点输出只取决一组特征，如图4所示; 速度加速比和参数压缩比取决于分组数目。
shuffnet v2认为网络推理速度不仅取决于网络计算量(Flops),仍需考虑内存占用量，并据此设计网络架构。
RegNet基于统计准则，不断优化网络架构超参数，并将其转换为线性函数表示，得到不同计算量下的最优网络架构。
3.GhostNet模块
GhostNet模块将普通卷积转换为两部分计算，首先通过普通卷积得到少量原始特征，进一步通过廉价操作获取更多幻影特征，然后将原始特征和幻影特征组合得到最终特征。如图所示：
最终速度加速比和参数压缩比取决于普通卷积输出特征数和选取原始特征数目比值
速度加速比
参数压缩比
4.不同网络架构性能汇总对比