恒源云(GPUSHARE)_基于梯度的NLP对抗攻击方法

文章来源 | 恒源云社区（专注人工智能/深度学习云GPU服务器训练平台，官方体验网址：gpushare.com/ ）

原文地址 | https://bbs.gpushare.com/topic/707/基于梯度的nlp对抗攻击方法?\_=1637048101498

原文作者 | Mathor

前言：
Facebook提出了一种NLP通用的攻击方法，而且可以通过梯度优化，论文发表在EMNLP2021，名为Gradient-based Adversarial Attacks against Text Transformers，源码在facebookresearch/text-adversarial-attack

BACKGROUND

我们首先定义模型，其中分别是输入输出集。设测试样本被模型正确预测为标签y，则有。如果一个与x无限接近的对抗样本使得，则是一个好的对抗样本。我们可以通过定义函数来量化的接近程度。设阈值，如果，则认为对抗样本非常接近

寻找对抗样本的过程通过被视为一个优化问题，例如对于分类问题来说，模型h输出一个logits向量，使得y=，为了使得模型预测错误，我们可以将margin loss选作对抗损失：

当损失为0的时候，模型会在超参数k的控制下预测错误。margin loss在2017年的论文Towards evaluating the robustness of neural networks，关于图像对抗算法中就被证明过有效

这部分注释我想仔细解释下为什么margin loss可以使得模型分类错误。模型训练的最终目的是为了优化margin loss，使得它的损失值降为0，即

只要满足上式情况，损失值就为0了。通过变形我们可以得到

其中，指的是输入x\mathbf{x}x被模型正确预测为类别yyy的logit值。不妨设

并且，这表明在所有的错误类别中，第iii类的logit最大，并且结合上面的不等式可得

总结一下，我们的优化目标永远都是使得损失值降为0，但是损失降为0并不一定代表就要模型对所有的样本都正确预测，margin loss优化的目标就是使得模型预测错误类别i的logit比预测正确类别y的logit大k。但凡存在一个样本预测正确，损失都不可能为0

给定对抗损失，构造对抗样本的过程可以被视为一个有限制的优化问题：

我们可以把约束带入损失函数中，将原本的硬约束变为软约束

如果约束函数是可微的，就可以用基于梯度的优化器来优化了

式(2)在图像或者语音等连续数据领域已被广泛应用，但实际上它并不适用于文本数据，主要有两点原因：

数据空间X是离散的，因此无法利用梯度进行优化
约束函数难以度量文本数据，例如在一个句子中插入"不是"，这个词会否定整个句子的意义，但如果我们用编辑距离去计算两个句子的差异，它们的编辑距离仅为1

GBDA: GRADIENT-BASED DISTRIBUTIONAL ATTACK

论文作者所提出的方法解决了上面两个问题：

利用Gumbel-Softmax使得采样过程可以被梯度优化
通过引入困惑度和语义相似度这两个软约束，促使对抗样本的语义更加流畅以及与原样本间的语义更接近

Adversarial Distribution

令是句子z的token序列，其中来自于一个固定的词汇表。设概率分布来自于一个参数化的概率矩阵，句子中的每个token都是通过下面的公式独立抽样出来的

其中，表示第i个token概率分布的向量

我们的目标是优化参数矩阵，使得为模型h的对抗样本，为了做到这一点，我们需要优化的目标函数为

其中，为可选的对抗损失，例如margin loss

Extension to probability vector inputs

公式(5)很明显不是一个可导的函数，因为分布是离散的，并且我们是通过采样得到的，采样这个操作没有公式，也就无法求导。但是，我们可以对公式(5)进行缩放，将概率向量作为输入，并且使用Gumbel-Softamx作为估计值，以此来引入梯度

句子z中每个token在Vocabulary中的索引i可以通过Word Embedding表查到相应的词向量。特别地，我们定义为embedding函数，因此token的embedding为，其中ddd是embedding维度。给定一个概率向量，它决定了
的抽样概率，则我们定义

为对应于概率向量的嵌入向量。特别地，如果token的概率向量是一个one-hot向量，则。有了公式(6)，我们可以将输入概率向量序列拓展为一系列embedding的拼接：

COMPUTING GRADIENTS USING GUMBEL-SOFTMAX

对模型h进行扩展，将概率向量作为输入，使得我们能够利用Gumbel-softmax得到式(5)的平滑估计。设输入概率序列来自Gumbel-softmax分布，根据下面的公式得到：

其中，即服从均匀分布。T越接近0，越接近one-hot分布

通过定义公式(5)的光滑近似值，我们就可以使用梯度下降优化参数了

SOFT CONSTRAINS

由于作者引入Gumbel-softmax，同时将概率向量作为模型的输入，将不可导的公式(5)改写成了可导的公式(8)，因此可以很容易的将其他任何可导的约束函数作为优化目标的一部分。利用这一优势，作者将流畅性和语义相似性约束引入进目标函数中，以产生更流畅和语义更接近的对抗样本

Fluency constraint with a Language model

之前的工作都是基于词级别的攻击，例如使用Word2vec、GloVe等，或者是利用同义词替换来保证语义原样本和对抗样本之间的语义相似性，但是这些方法或多或少都会存在一些问题，例如产生的对抗样本语法不连贯、语义不流畅

因果语言模型（Causal language models, CLMs)，或者说自回归语言模型的训练目标是最大化条件概率。更具体地说，给定一个具有对数概率输出的CLM g，一个序列的负对数概率（Negative log-likelihood, NLL）是通过自回归的方式计算出的

其中，

由于之前我们定义模型的输入是某个token的概率向量，因此我们也可以扩展NLL的定义：

其中

Similarity constraint with BERTScore

作者提出使用BERTScore，这是一个用于评估生成文本相似性的方法。设是两个token序列，令g为语言模型，我们可以得到基于上下文语境的向量表示

则序列的BERTScore定义如下：

其中，是token 标准化后的逆文档频率

我们可以很容易地用式(6)中描述的概率向量序列来代替，并使用作为一个可导的软约束

Objective function

最后，我们把margin loss、流畅性约束与BERTScore相似性约束都整合起来，构成我们最终的优化目标：

其中，均为超参数，每次迭代时从采样一批输入，并用Adam优化器最小化。具体来说，论文中的超参数设置为

RESULT

实验结果表明，作者的攻击能够在几乎所有情况下将模型的准确率降低到10%以下，同时保持高水平的语义相似性（余弦相似度高于0.8）

同时作者做了一个消融实验，观察流畅性约束的存在，对生成的句子以及最终的结果有什么影响

个人总结

说实话有些尴尬，我在翻EMNLP的Accepted Papers时，「Adversarial」字样突然映入我眼帘，一开始我还以为这是一种新的对抗训练方法，于是便点开论文看了看，边看边写这篇文章，结果写到快结束的时候感觉有些不对劲，我发现这篇论文其实主要不是讲Adversarial的，而是讲Attack的，但我并不是做深度学习Attack的，所以我基本上是浪费了很多时间看了个和我研究不相关的东西。由于我对深度学习攻击并不了解，所以也没什么很特别的感悟