恒源云(GpuShare)_MaskFormer：语义分割可以不全是像素级分类

文章来源 | 恒源云社区

原文地址 | MaskFormer

原文作者 | 咚咚

论文：Per-Pixel Classification is Not All You Need for Semantic Segmentation

论文地址：https://arxiv.org/pdf/2107.06278.pdf

代码地址： https://bowenc0221.github.io/maskformer

摘要

目前研究多将语义分割算法作为一种像素级的分类算法，而将实例分割作为一种mask分类算法
论文的重要观点是：mask分类任务能够同时有效解决语义和实例级的分割任务
基于上述观念，提出了MaskFormer，一种预测二值mask（每个mask用于预测一个类别）的mask分类模型
实验显示，MaskFormer在ADE20K和COCO分割任务上实现state-of-the-art

从像素级分类到mask级分类

首先介绍像素级分类和mask级分类
随后介绍本文的mask级分类算法
最后提出了两个不同的前向传播算法

像素级分类

大家应该对像素级分类很熟悉了，可以用公式表达为\( y={\lbrace p_i|p_i \in\Delta^k}\rbrace_{i=1}^{H \cdot W} \),其中\( \Delta^{K} \)，具体含义就是一张图像上每个像素点的K类别概率分布

最后使用cross entropy对每个像素进行loss计算

MASK级分类

mask级分类将分割任务拆分为两个部分：

将图像分割成N个区域（N不需要等于类别K），使用二进制\( \lbrace m_i|m_i \in[0,1]^{H \times W}\rbrace_{i=1}^N \)表示
这N个区域的每个区域内部是属于同一个类别，所以还需要对其进行类别预测，可以表示为\( z=\lbrace (p_i,m_i)\rbrace_{i=1}^N \)，这里的类别概率分布\( p_{i} \in \Delta^{K+1} \)包含无对象no object 类别

由于N不需要等于类别K，这就意味着会存在多个区域属于同一个类别，这时mask级分类可以适用于语义分割和实例级分割任务

上述就是mask级分类的两个组成部分，但这会引出下一个问题，如何构造标签？

将一般标签改造成\( z^{gt}={\lbrace (c_i^{gt},m_i^{gt})|c_i^{gt} \in {1,…,K},m_i^{gt} \in { 0,1}^{H \times W} \rbrace}_{i=1}^{N^{gt}} \)，其中\( N^{gt} \)可以认为是类别个数
预测生成的区域块数量N一般会大于标签中的区域块\( N^{gt} \)，为了后续能够进行对一对匹配，所以两者数量需要一致，因此添加一系列无对象tokens使两者数量相同

进一步就是要考虑如何将标签和预测结果中的不同区域进行匹配

作者发现使用二值匹配算法bipartite matching 比使用固定匹配算法trivial fixed matching 算法要好
借鉴DETR的匹配思路，联合类别和mask预测对i和j进行匹配：\( -p_i (C_j^{gt})+\mathcal{L}_{mask}(m_i,M_j^{gt}) \)

基于匹配的结果，最终的损失函数为

MASKFORMER

整个模型分成三个模块（如上图所示）：

像素级模块用于提取像素级特征嵌入
Transformer模块，用于计算N个区域嵌入
分割模块，基于上述两个嵌入计算预测类别

像素级模块

就是一个编码器-解码器结构，输入大小为H×W的图像，输出为\( \varepsilon_{pixel} \in \mathbb R ^{c_\varepsilon \times H \times W} \)
的特征图

Transformer模块
将像素级模块中编码器的输出特征图和N个可学习的位置嵌入作为Transformer解码器的输入，输出为\( \mathcal Q \in \mathbb{R}^{C_{\mathcal{Q}} \times N} \)

分割模块

对于Transformer模块的输出Q，使用线性分类层和softmax进行类别输出，得到类别概率\( \lbrace p_i \in\Delta^{K+1}\rbrace _{i=1}^N \)
使用带有两个隐藏层的MLP将Q转化为\( \varepsilon_{mask} \in \mathbb R ^{c_\varepsilon \times N} \)，并与\( \varepsilon_{pixel} \)进行点乘和sigmoid操作，得到二值mask预测，\( m_i[h,w]=sigmoid(\varepsilon_{mask}[:,i]^T\cdot\varepsilon_{pixel}[:,h,w]) \)，其中每个预测值为\( m_{i} \in[0,1]^{H \times W} \)，一共有N个

训练过程中，联合使用cross entropy classification loss 和binary mask loss \( \mathcal{L}_{\text {mask }} \) （与DETR一样，联合focal loss和dice loss权重求和）

前向传播过程

提出了两种前向传播算法

针对全景和语义分割，提出了general inference
专门针对语义分割，提出了semantic inference
作者并发现，前向传播的策略更大程度上依赖于评价指标而不是任务

General inference
上文所述，我们知道\( \lbrace p_i \in\Delta^{K+1}\rbrace _{i=1}^N,m_i \in[0,1]^{H \times W} \)，通过公式\( {arg} \ {max}\ p_i(c_i) \cdot m_i[h,w] \)来确定其所属类别，可以通过如下步骤进行理解