Happy · 2022年11月16日 · 北京市

端侧高效骨干RepGhost | 重参数赋能GhostNet,达成端侧超高效骨干

image.png

https:arxiv.org/abs/2211.06088

https://github.com/ChengpengChen/RepGhost

作者通过结构重参数机制实现特征复用,赋能GhostNet达成硬件友好方案RepGhostNet。ImageNet与COCO基线任务验证了所提方案的有效性与高效性。可参考下图,比MobileOne、MobileNeXt等轻量型架构都要“秀”!速览版请手下!

image.png
image.png

GhostNet通过引入cheap操作进行特征复用,但引入了硬件不友好的Concat,即Concat特征复用虽然是无参、无FLOPs,但其计算耗时却不能忽视,见上图。那么如何更高效的进行特征复用呢?结构重参数!!!

image.png

上图给出了Ghost到RepGhost的进化过程,包含以下三点:

  1. Concat替换为Add以降低耗时;
  2. ReLU迁移以符合重参数折叠机制;
  3. shortcut分支引入BN进一步提升非线性。

image.png

上图给出了Bottleneck改进过程:主要体现在通道数,这是因为Concat到Add的过渡会导致通道数发生变换。作者主要是针对中间通道数进行调整,而输入与输出通道数相同。

image.png
本文实验

下面两个表给出了ImageNet与COCO数据集上的性能对比,在轻量化方面RepGhost还是很不错的,Flops基本在300M以内。

image.png

image.png

来源:AIWalker
作者: Random

推荐阅读

本文章著作权归作者所有,任何形式的转载都请注明出处。更多动态滤波,图像质量,超分辨相关请关注我的专栏AIWalker。欢迎添加极术小姐姐微信(id:aijishu20)加入技术交流群,请备注研究方向。
推荐阅读
关注数
6193
内容数
190
夯实深度学习知识基础, 涵盖动态滤波,超分辨,轻量级框架等
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息