21

Happy · 2022年06月10日

MobileOne: 移动端仅需1ms的高性能骨干,你值得拥有!

1497f4fb73ef68237bee05fe75089893.jpg

一句话总结

MobileOne(≈MobileNetV1+RepVGG+训练Trick)是由Apple公司提出的一种基于iPhone12优化的超轻量型架构,在ImageNet数据集上以<1ms的速度取得了75.9%的Top1精度

182bec8254ff28525744cf66f3204558.jpg

出发点

高效率网络具有更强的实用价值,但学术界的研究往往聚焦于FLOPs或者参数量的降低,而这两者与推理效率之间并不存在严格的一致性。比如,FLOPs并未考虑访存消耗与计算并行度,像无参操作(如跳过连接导致的Add、Concat等)会带来显著的访存消耗,导致更长推理耗时。

a3d21b570e631be77b84ca2df7586b1e.jpg

为更好的分析高效率网络的瓶颈所在,作者以iPhone12平台为基准,从不同维度进行了"瓶颈"分析,见上图。从中可以看到:

  • 具有高参数量的模型也可以拥有低延迟,比如ShuffleNetV2;
  • 具有高FLOPs的模型也可以拥有低延迟,比如MobileNetV1和ShuffleNetV2;

d914fb8e9a11906bef3502bcabeb3769.jpg

上表从SRCC角度进行了分析,可以看到:

  • 在移动端,延迟与FLOPs和参数量的相关性较弱;
  • 在PC-CPU端,该相关性进一步弱化。

具体方案

基于上述洞察,作者从先两个主要效率"瓶颈"维度上进行了对比,然后对性能"瓶颈"进行了分析并提出相应方案。

1474dca1a32211729effc17cce8903d6.jpg

  • Activation Functions:上表对比了不同激活函数对于延迟的影响,可以看到:尽管具有相同的架构,但不同激活函数导致的延迟差异极大。本文默认选择ReLU激活函数。

a727c656d150dcfd4bf882f3a4bcbed9.jpg

  • Architectural Block:上表对影响延迟的两个主要因素(访存消耗与计算并行度)进行了分析,见上表,可以看到:当采用单分支结构时,模型具有更快的速度。此外,为改善效率,作者在大模型配置方面有限的实用了SE模块。

58c8e269b406e42b6137ec0466678ec4.jpg

基于上述分析,MobileOne的核心模块基于MobileNetV1而设计,同时吸收了重参数思想,得到上图所示的结构。注:这里的重参数机制还存在一个超参k用于控制重参数分支的数量(实验表明:对于小模型来说,该变种收益更大)。

6a952da21bf87c439bff3703d37e98af.jpg
在Model Scaling方面类似MobileNetV2,上表给出了MobileOne不同配置的参数信息。

7990c6d82798637dcf716252494eb9ef.jpg

在训练优化方面,小模型需要更少的正则,因此作者提出了Annealing的正则调整机制(可带来0.5%指标提升);此外,作者还引入渐进式学习机制(可带来0.4%指标提升);最后,作者还采用EMA机制,最终MobileOne-S2模型达到了77.4%的指标。

实验结果

4ebd3b6dcf09bca5f75c6345465baf51.jpg

上表给出了ImageNet数据集上不同轻量型方案的性能与效率对比,可以看到:

  • 哪怕最轻量的Transformer也需要至少4ms,而MobileOne-S4仅需1.86ms即可达到79.4%的精度
  • 相比EfficientNet-B0,MobileOne-S3不仅具有指标高1%,同时具有更快的推理速度
  • 相比其他方案,在PC-CPU端,MobileOne仍具有非常明显的优势

890cdf193b5db7cfaff7ead757e93532.jpg

上表为MS-COCO检测、VOC分割以及ADE20K分割任务上的性能对比,很明显:

  • 在MC-COCO任务上,MobileOne-S4比MNASNet指标高27.8%,比MobileViT高6.1%;
  • 在VOC分割任务上,所提方案比MobileViT高1.3%,比MobileNetV2高5.8%;
  • 在ADE20K任务上,所提最佳方案比MobileNetV2高12%,而MobileOne-S1仍比MobileNetV2高2.9%。

443947f71289a8c1d4998a634814bf91.jpg

在文章最后,作者俏皮的提了一句:"Although, our models are state-of-the art within the regime of efficient architectures, the accuracy lags large models ConvNeXt and Swin Transformer"。笔者想说的是:看上图。

来源:AIWalker
作者:HAPPY

推荐阅读

本文章著作权归作者所有,任何形式的转载都请注明出处。更多动态滤波,图像质量,超分辨相关请关注我的专栏AIWalker。欢迎添加极术小姐姐微信(id:aijishu20)加入技术交流群,请备注研究方向。
推荐阅读
关注数
6197
内容数
191
夯实深度学习知识基础, 涵盖动态滤波,超分辨,轻量级框架等
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息