转载于：GiantPandaCV
作者： ZZK

这是复旦大学出品的一份Transformer的综述，里面涵盖内容很广泛，长文预警，完整读完可能需要15-20分钟

介绍

Transformer现在是一种在各个领域被广泛使用的模型，包括NLP,CV,语音领域。随着这几年发展，一些Transformer的变体在以下几个方面进行改进：

1. 模型效率

由于self-attention模块的计算，存储复杂度都很高，让Transformer在处理长序列数据时效率较低。主要的解决方法是对Attention做轻量化以及引入分治思想。

2. 模型泛化

Transformer没有像CNN引入归纳偏置，导致其在小规模数据集上难以训练。解决方法是引入结构偏置或正则项，在大数据集上进行预训练等等。

3. 模型适应能力

这方面工作主要是将Transformer引入下游任务中

背景知识

原始Transformer

这部分我们主要介绍原始Transformer中几个关键模块

Attention模块

Attention公式原型如下：

而Transformer中使用的是多头注意力机制，首先使用多组 , , &W\_v&来分别计算，然后将多组注意力结果拼接起来，并最后再和做一次线性变换。整个过程如下:

Transformer整体结构图概览

在Transformer中，分以下三种Attention：

self-attention，自注意力机制，即上述公式中的Q,K,V都设置为输入X。
Masked self-attention: 用于decoder中，其中掩码保证计算注意力的时候只使用该位置以内的信息。
Cross-Attention: 其中Query使用的是解码器的输出，而Key和Value使用的是编码器输出。

FFN模块

前馈层就是两层全连接层加一个激活层，可以写为

残差连接和LayerNorm

在每个Transformer Block中，都加入了残差连接和LayerNorm。整个过程可以写为

位置编码

由于Transformer没有引入循环结构以及卷积结构，模型本身是缺失位置信息的。我们通过给Encoder和Decoder的输入加入位置编码，让数据带有一定位置信息

模型使用方法

通常有以下三种

Encoder-Decoder 常用于Sequence to Sequence的建模（如机器翻译)
Encoder-Only 只用了前面的编码器，常用于分类，序列标注问题
Decoder-Only 只用了后面的解码器，常用于序列生成任务

模型分析

这里主要分析其中两个组件FFN和self-attention的复杂度和参数量这里我们假设序列长度为T，通道数为D，FFN中间全连接层大小为4D，那么有以下表格

简单推导

矩阵乘计算复杂度补充，假设矩阵A是(N, M)，矩阵B是(M, P), 那么得到的矩阵C是(N, P),而每一个元素计算需要M次乘法，因此复杂度为O(NMP)，其他操作对比可参考 Transformer/CNN/RNN的对比（时间复杂度，序列操作数，最大路径长度）

在Q和K进行矩阵乘的时候，是(T, C)和(C, T)(K转置后)矩阵相乘，因此复杂度为O(),FFN的参数量和计算复杂度也以此类推。

可以看到在长序列下，self-attention的操作复杂度以2次方增加。

Transformer与其他网络的比较

self-attention的分析

我们总结了以下三个优点

它与全连接层有相同的最大路径长度，适合长距离建模。
相比卷积有限的感受野（在CNN中，需要堆叠很多层才能得到全局感受野），self-attention能以有限的层数建模长期依赖关系。
相比于循环层（RNN系列），self-attention的并行度更高。

关于归纳偏置

CNN使用卷积核，引入图像局部性。RNN将时间不变性引入。而Transformer抛弃了这些归纳偏置，一方面能让其足够通用灵活，另一方面Transformer很容易对小规模数据过拟合。

另一个与其相关的是GNN图网络，Transformer可以被看作一个完全有向图(带自环)上的GNN，其中每个输入都是图中的一个节点(PS: 笔者对GNN不理解，这里翻译比较僵硬)。

不同种类的Transformer

后续的Transformer变体都是在以上几个组件加以改进得到。

Attention

自注意力机制是很重要的一个组件，它有如下两个问题

复杂度，在处理长序列的时候计算开销很大
结构先验，抛弃了所有归纳偏置，导致其在小型数据容易过拟合

解决方法有以下：

Sparse Attention，将稀疏偏置引入到注意力计算
Linearized Attention，将注意力矩阵和特征映射分离，降低至线性复杂度
显存压缩，减少QKV的数量来减小注意力矩阵
低秩self Attention，这类工作主要是抓住自注意力的低秩性
带有先验的Attention，使用预先注意力分配来补充标准的自注意力机制
改进Multi-head机制

Sparse Attention

在一些训练好的Transformer模型中，可以观察到注意力矩阵通常是稀疏的，因此可以通过限制query-key对的数量来减少计算复杂度。

我们可以将稀疏化方法进一步分成两类，基于位置信息Position-based和基于内容Content-based两种方法。

基于位置信息的稀疏化注意力

基础的稀疏注意力模式

主要来说有以下五种稀疏注意力的基本模式

Global Attention 为了增强模型模拟长距离依赖关系，我们可以加入一些全局节点。
Band Attention 大部分数据都带有局部性，我们限制query只与相邻的几个节点进行交互
Dilated Attention 跟CNN中的Dilated Conv类似，通过增加空隙以获取更大的感受野
Random Attention 通过随机采样，提升非局部的交互
Block Local Attention 使用多个不重叠的Block来限制信息交互

5种Attention图示

复合的稀疏注意力模式

使用上面的基础稀疏注意力模式进行结合，这里就不展开叙述了。

不同的复合稀疏注意力模式

扩展的稀疏注意力模式

不同于上面基础的几种注意力模式，针对一些特殊数据类型也有一些扩展的稀疏注意力。

BP-Transformer构造了一个基于二叉树的注意力模式，所有的token作为叶子节点，而内部节点则包含了多个token。更高层的span node能包含更长距离内的token。

在视觉方面的数据上，Image Transformer尝试了两种稀疏注意力模式

将图像展平，并应用一个block local sparse attention
以2维的形式，应用一个2D block local attention

Axial Transformer对于图像的每个轴，应用独立的注意力模块

扩展稀疏注意力

基于内容的稀疏注意力

一些工作是根据输入数据来创建稀疏注意力，其中一种很简单的方法是选择和给定query有很高相似度的key。

Routing Transformer采用K-means聚类方法，对中心向量集合上的key和query进行聚类。每个query只与其处在相同cluster下的key进行交互。

中心向量采用滑动平均的方法进行更新：

其中是cluster的数量，是cluster当前的向量个数

Reformer则采用local-sensitive hashing(LSH)哈希方法来为每个query选择key-value。其主要思想是对query和key哈希，分到多个桶内，在同一个桶内的query，key参与交互。

此外，Sparse Adaptive Connection将序列看作是一个图，自适应学习稀疏连接。Sparse Sinkhorn Attention使用一个排序网络，给query，key分到多个块内，并给每个query块分配一个key块，每个query只允许和对应的key进行交互。

Linearized Attention

这类方法主要是使用来近似或替代计算Attention中的，以降低计算复杂度至O(T)。(其中是在行方向上的特征映射)

标准Attention和Linearized Attention对比

我们先写出Attention的一般形式:

其中 sim 是一个用于计算向量相似性的函数。在原始Transformer是对向量做内积+softmax，我们选择用一个核函数来代替

那么前面的Attention可以改写为

这类方法有两个关键的组件，分别是特征映射和特征聚合方法

特征映射

即前面提到的，Linear Transformer使用的是，其目的不是近似标准Attention中的点积，只是性能能与标准Transformer相当。

Performer则使用的是随机特征映射方式：

在第一个版本中，Performer受启发于随机傅里叶特征映射（常用于近似高斯核）。其中：

然而第一个版本不能保证attention计算得到的score是非负的，第二版改进为:

当然还有其他特征映射方法，这里不过多阐述

聚合方法

RFA引入一种门机制，当给记忆矩阵S添加一个新关联，它通过一个可学习的标量g来让历史关联呈现出指数衰减的形式。

Schlag等人利用写入/删除的方法来增加记忆矩阵容量（这里看不懂，不展开讲了）

Query原型和显存压缩

除了对注意力稀疏化和线性化，另外一个减少注意力复杂度的方法是减少query或key-value的数量。

Query prototyping 和 Memory Compression

使用Query原型的Attention

这里使用Query原型作为计算Attention分布的主要来源，模型可以将分布复制到对应query的位置，也可以用离散均匀分布来填充。

Cluster Attention将query分组到多个cluster当中，为每个cluster的中心向量计算注意力分布。

Informer则是显式地使用query稀疏度度量选取query原型，该度量由query注意力分布和离散均匀分布之间的KL散度近似推导出来。

使用压缩Key-Value显存的注意力

这类方法减少key-value对的数量，来减少复杂度。

Liu等人提出MCA，使用卷积层减少key-value数量

Set Transformer和Luna使用一些外部可训练全局节点，来对输入进行压缩

Linformer则将key，values投影(即和一个矩阵相乘)，减少其长度。

Poolingformer则使用两阶段Attention，包含一个滑窗Attention和一个压缩显存Attention。

END

推荐阅读

更多嵌入式AI技术干货请关注嵌入式AI专栏。

A Survey of Transformer 一篇Transformer综述（上）

介绍