CMT：当CNN遇到Transformer，“迷途知返”

标题&作者团队

本文是华为诺亚与悉尼大学在Transformer+CNN架构混合方面的尝试，提出了一种同时具有Transformer长距离建模与CNN局部特征提取能力的CMT。相比之前的各种Transformer变种，本文更倾向于将Transformer的优势集成到CNN中。整体架构采用了ResNet的分阶段架构，Normalization方面采用CNN中常用的BN而非Transformer中的LN，在核心模块CMTBlock方面，内部设计了具有局部特征提取的LPU，在降低计算量方面对K与V进行了特征分辨率的下降，与此同时将MobileNetV2中的逆残差思想引入到FFN中得到了IRFFN。总而言之，CMT代表着CV中的Transformer架构趋势又回到了CNN原先研究路线：即CNN为主，其他领域思想为辅。

Abstract

由于其所具有的长距离依赖建模能力，Vision Transformers已被成功应用到图像识别任务中。然而，其性能与计算量距离优秀的CNN仍存在差距。

为解决上述问题，我们设计了一种新的网络CMT，它不仅由于Transformer，同时优于高性能CNN。所提CMT是一种混合CNN与Transformer的架构，它同时利用率Transformer的长距离建模与CNN的局部特征提取能力。具体来说，所提CMT-S取得了83.5%的top1精度，同时比现有的DeiT快14倍，比EfficientNet快2倍。所提CMT-S同样具有非常好的泛化性能，比如CIFAR10取得了99.2%，CIFAR100上取得了91.7%，Flowers上取得了98.7%，COCO上取得了44.3%mAP。

Method

本文的初衷是构建一种混合网络，它同时利用CNN与Transformer的优势。下图给出了ResNet50、DeiT以及所提CMT的网络架构示意图。

如上图所示，DeiT直接将输入图像拆分为非重叠图像块，图像块的结构信息则通过线性投影方式弱建模。为克服该局限性，我们采用类似ResNet的stem架构，它由三个卷积构成，但激活函数采用了GELU，而非ResNet的ReLU。

类似经典CNN(如ResNet)架构设计，所提CMT包含四个阶段以生成多尺度特征(这对于稠密预测任务非常重要)。为生成分层表达，在每个阶段开始之前采用卷积降低特征分辨率并提升通道维度。在每个阶段，堆叠多个CMT模块进行特征变换同时保持特征分辨率不变，每个CMT模块可以同时捕获局部与长距离依赖关系。在模型的尾部，我们采用GAP+FC方式进行分类。

给定输入图像，我们可以得到四个不同分辨率的分层特征，类似于经典的CNN(ResNet, EfficientNet)。所得四个不同分辨率的特征对应的stride分别为4、8、16、32，因此，CMT所得多尺度特征表达可以轻易应用到下游任务(比如检测与分割)中。

CMT Block

所提CMT模块包含一个局部感知单元(Loal Perception Unit, LPU)、一个轻量型多头自注意力模块(Lightweight Multi-Head Self-Attention, LMHSA)以及一个逆残差前馈网络(Inverted Residual Feed-Forward Network, IRFFN)。