ICNet|针对CNN的基础单元重新建模，南京大学提出IC Networks

首发：AIWalker
作者:HappyAIWalker

标题&作者团队

本文是南京大学的研究员针对CNN的基础模块进行的一次重建模，它将物理领域的弹性碰撞模型引入到卷积中，进一步提升的卷积过程的非线性能力，进而提升CNN的性能。最后从ImageNet分类与VOC检测任务上进行了验证，相比基线ResNet，所提IC-ResNet可得到不同程度的性能提升。

Abstract

CNN已成为计算机视觉领域主流方案，现有CNN往往采用堆叠特定类型基础单元构成，并通过提升深度与宽度取得更好的性能，同时设计更优秀的基础单元也是一个非常重要的研究方向。

受启发于物理中的弹性碰撞模型，本文提出了一种广义结构，它可以集成现有CNN并提升性能，我们将其称之为Inter-layer Collision(IC)结构。相比传统卷积结构，IC引入了非线性与特征重校正，它可以取得更细粒度的特征。

此外，本文还提出一种称之为weak logit distillation的训练方法，通过从预训练模型中提取知识加速IC网络的训练。在ImageNet数据集上，集成ResNet50的IC架构将top1误差从22.38%降低到了21.75%，取得了与ResNet100相同的性能，同时只需近一半的计算量。

Method

接下来，我们将从三个角度对本文所提方案进行介绍。首先，我们将介绍IC结构是如何工作并与CNN相结合的；然后介绍一下所提WLD优化技术；最后分析IC结构在计算复杂度方面的影响。

Inter-layer

Weak Learning Distillation

为更好的理解IC层为何可以捕获更细粒度特征，我们采用Grad-CAM进行了可视化，结果见下图。可以看到：IC模型更聚焦于与目标相关的区域。更重要的是：IC网络的特征与基础网网络的特征具有某些相似性。

Parameters&Comlexity

Experiments

为验证所提方案的有效性，我们在ImageNet数据集上进行了验证，基线模型为ResNet。

上表给出了ResNet18、ResNet34、ResNet50改造前后的性能对比。从中可以看到：IC-ResNet18与IC-ResNet34可以得到显著的性能提升，分别为1.19%和1.03%；在ResNet50方面，由于仅仅替换了卷积，其性能提升相对较少，但仍可以得到0.95%的top1精度提升。

上表给出了VOC数据集上目标检测性能对比。可以看到：IC-ResNet50仍可取得比ResNet50更好的性能，性能提升在1.0%附近。