大规模视觉预训练显著提高了大型视觉模型的性能。然而，作者观察到现有的低FLOPs模型无法从大规模预训练中受益的问题。在本文中，作者提出了一种通用的设计原则，即ParameterNet，用于在大规模视觉预训练中增加更多参数的同时保持低FLOPs。
例如，采用动态卷积技术可以为网络提供更多参数，同时仅略微增加FLOPs。提出的ParameterNet方案使得低FLOPs网络能够从大规模视觉预训练中受益。
在大规模ImageNet-22K数据集上的实验证明了作者ParameterNet方案的卓越性能。例如，ParameterNet-600M相比广泛使用的Swin Transformer具有更高的准确性（81.6%对80.9%），并且具有更低的FLOPs（0.6G对4.5G）。
1、简介
由于计算硬件和数据工程的发展，作为计算机视觉中的基础组成部分，大规模视觉预训练取得了令人瞩目的进展。预训练的视觉模型可以作为表示学习器，并迁移到下游任务中，如图像识别和目标检测。
主流的预训练视觉模型通常需要大量的资源，包括数据、参数和FLOPs。这3个关键因素严重影响着性能，并基本遵循缩放定律。大规模的预训练数据可以为表示学习提供多样化的样本。这些数据集的规模从数百万到数十亿不等，例如，广泛使用的ImageNet-22K数据集包含了1400万张图像和21841个类别。为了更好地拟合大规模数据集，模型的大小（包括参数和FLOPs）近年来越来越大，例如，ViT-G/14模型具有18亿个参数和9650亿个FLOPs。
移动设备上的视觉应用通常需要快速推理，因此由于高计算成本，很难部署现有的预训练视觉模型。为了解决这个问题，作者经验性地研究了大规模视觉预训练中FLOPs的影响。作者采用ImageNet-22K作为大规模预训练数据集，而ImageNet-1K是一个相对较小的数据集用于比较。
然后，作者对预训练的Transformer和CNN模型在ImageNet-1K上进行微调以评估性能。如图2和图3所示，当模型的FLOPs逐渐增加时，模型的准确性持续提高。对于高FLOPs的模型，22K预训练模型优于1K模型。然而，低FLOPs的模型无法从大规模预训练中获益，作者称之为低FLOPs陷阱。
在这篇论文中，作者通过增加更多的参数来构建低FLOPs的ParameterNet，同时保持低FLOPs的特性，用于大规模视觉预训练。这是一个通用的设计原则，有多种方法可以增加参数数量并保持低FLOPs。
例如，作者主要考虑高效动态卷积，它可以大幅增加参数数量而几乎不增加额外的FLOPs。ParameterNet方案可以使以前的网络从大规模视觉预训练中受益，并克服低FLOPs的陷阱。
在实验中，ImageNet-22K预训练的ParameterNets相比正常的ImageNet-1K训练可以提高约2%的性能。例如，ParameterNet-600M在ImageNet-1K验证集上实现了81.6%的top-1准确率，其FLOPs数量比Swin-T低7倍。
2、本文方法
在本节中，作者研究了大规模预训练设置下的 low-FLOPs 网络。
2.1 Architecture: Transformer vs. CNN
在这里，作者没有提出一个新的架构，而是选择了最适合大规模视觉预训练的低FLOPs网络架构。ViT及其变种在大型视觉模型领域中展示了Transformer相对于CNN的优越性。
如下图所示，当FLOPs高于5G FLOPs时，基于Transformer的模型在计算成本相似的情况下始终表现出色于CNN。
至于更小的模型，特别是在600M FLOPs范围内的移动级模型，具有局部性和平移不变性的CNN仍然占主导地位。为了构建用于视觉任务的高效Backbone模型，作者选择了CNN作为基础模型。GhostNet是代表最先进的移动模型，引入了廉价运算来简化标准卷积层。
2.2 Parameters Are All You Need
在神经网络中，参数数量和FLOPs之间存在高度的相关性。具有大量参数的模型通常拥有较高的FLOPs。考虑到大量数据需要更多的参数的直觉，作者通过增加参数数量来构建ParameterNet，同时保持低FLOPs。
3、实验
3.1 实验设置
3.2 主要结果
3.2.1 与SOTA比较
3.2.2 推理速度
3.3 消融实验
3.3.1 dynamic experts的数量
3.3.2 Dynamic convolution vs. re-parameterized convolution
3.3.3 ParameterNet for other network architectures
4、参考
[1].ParameterNet: Parameters Are All You Need for Large-scale Visual Pretraining of Mobile Networks.
作者： 小书童
文章来源：集智书童
推荐阅读
- 一文全览 | 全览iPhone 12就可以实时推理的移动端ViT！
- SegNetr来啦 | 超越UNeXit/U-Net/U-Net++/SegNet
- 超强Trick | 如何设计一个比Transformer更强的CNN Backbone
- Backbone创新 | 中科大联合百度提出全新Transformer Backbone
- 自动驾驶感知多任务框架 | MultiTask V3、HybridNets和YOLOP谁更强呢？
更多嵌入式AI干货请关注嵌入式AI专栏。欢迎添加极术小姐姐微信（id:aijishu20)加入技术交流群，请备注研究方向。
