文章来源 | 恒源云社区（专注人工智能/深度学习云GPU服务器训练平台，官方体验网址：https://gpushare.com/）
原文作者 | Mathor
这篇文章主要是对EMNLP2021上的论文Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning进行讲解。论文标题有些抽象，但是用作者的话来说，这篇论文的思想可以归结为两个词：Child Tuning
虽然这篇文章主要针对NLP任务以及NLP相关的模型，但实际上我看完之后觉得这是一个通用的方法，CV领域也可以使用。具体来说，目前预训练模型的参数非常大，在下游任务中，我们只能用有限的训练集对模型进行微调，有一种螳臂当车的感觉，因此作者提出了一种新的微调方法——Child Tuning。如果用一句话概述其思想那就是：在反向传播过程中，我们不用更新所有的参数，只更新某些参数即可，而这些被更新的参数所对应的网络结构，我们叫做Child Network（子网络）
如上图所示，上面一行是正常的反向传播过程，其中 
下标0不是指某一个参数，而是指第0个迭代过程，η是学习率。对于下面一行来说，
其中，M矩阵内的元素非0即1，⊙是矩阵内的元素做对应位置相乘。我们可以用两步来概括Child Tuning的过程：
- 在预训练模型中发现并确认Child Network，并生成对应Weights的0-1 MASK
- 反向传播计算完梯度后，仅对Child Network中的参数进行更新
所以现在的问题是如何确认Child Network？
HOW TO FIND CHILD NETWORK?
实际上我们并不需要真的找到Child Network，只要确定矩阵M即可。论文提供了两种算法用于生成矩阵M，分别是任务无关算法Child_Tuning_F (F for Task-Free)以及与具体任务相关的算法Child_Tuning_D (D for Task-Drivern)
Child_Tuning_F
任务无关算法的意思是与你具体所做的具体任务没有关系，都可以使用这个算法，是一种通用的方法。具体来说，此时MMM是根据伯努利分布生成的
其中
import torch
from torch.distributions.bernoulli import Bernoulli
gradient = torch.randn((3, 4)) # 这里用一个随机生成的矩阵来代表梯度
p_F = 0.2
gradient_mask = Bernoulli(gradient.new_full(size=gradien.size(), fill_value=p_F))
gradient_mask = gradient_mask.sample() / p_F # 除以p_F是为了保证梯度的期望不变
print(gradient_mask)
gradient *= gradient_mask
print(gradient)Bernoulli是一个类，生成的gradient_mask是一个对象，我们需要调用这个对象的sample()方法才能得到一个矩阵。其中比较重要的一点是虽然我们得到了0-1 MASK，但我们需要将这个MASK内所有的1扩大
别的梯度都不在了，活着的梯度要带着其他人的意志坚强的反向传播下去啊！
Child_Tuning_D
考虑到存在不同的下游任务，作者提出一种与具体任务相关的算法Child_Tuning_D，它可以检测出对目标任务最重要的子网络（或者参数）。具体来说，作者采用Fisher信息估计法来寻找与特定下游任务高度相关的参数。形式上，模型参数w的Fisher Information Matrix(FIM)定义如下：
其中，x,y分别是输入和输出，由此我们可以推出第i个参数的Fisher信息如下：
其中，|D|是所有样本的数量。作者认为，参数对目标任务越重要，其Fisher信息越大，因此Child Tuning是由Fisher信息最高的那些参数组成，此时Child Network的比例为
其中
下面给出计算Fisher信息的代码
def calculate_fisher():
gradient_mask, p_F = {}, 0.2
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size, shuffle=True)
N = len(train_dataloader) # N = |D|
for name, params in model.named_parameters():
if 'layer' in name:
gradient_mask[params] = params.new_zeros(params.size())
for batch in train_loader:
outpus = model(**batch)
loss = outpus['loss'] if isinstance(outpus, dict) else outputs[0]
loss.backward()
for name, params in model.named_parameters():
if 'layer' in name:
torch.nn.utils.clip_grad_norm(params, 1)
gradient_mask[params] += (params.grad ** 2) / N
model.zero_grad()
r = None
for k, v in gradient_mask.items():
v = v.view(-1).cpu().numpy() # flatten
if r is None:
r = v
else:
r = np.append(r, v)
# polar = np.percentile(a, q) # a中有q%的元素小于polar
polar = np.percentile(r, (1-p_F)*100)
for k in gradient_mask:
gradient_mask[k] = gradient_mask[k] >= polar
print('Polar => {}'.format(polar))
return gradient_maskPROOF
如果这篇论文就讲了这些东西，很大概率是中不了EMNLP的，之所以被录用了，我个人觉得和这篇论文里大量的证明有关，作者证明了使用Child Tuning可以帮助模型逃离局部极小值点，接下来我尝试着把论文中的证明部分说清楚
首先我们假设
对于g，我们有
设
上面的公式推导其实并不严格，例如分子的p是从哪来的就没法解释，分子的p只有可能是
设
因此
最终我们就得到
特别地，当参数w训练到局部极小值点时，
个人总结
这篇论文刚读的时候觉得很厉害，但实际上了解之后就觉得这其实就是一个反向传播版的Dropout，实际的创新并没有特别大，包括其中提到的Fisher信息也并不是这篇论文提出来的。再就是论文中的实验确实很多，实验结果表明，相比于Fine Tuning大约可以提升1.5～8.6个点不等。最后要说一下这篇论文的公式证明部分，我个人觉得这篇论文的证明其实没有很严谨，例如为什么一个矩阵的期望就变成一个数了。总的来说这个方法可以作为打比赛时候的一个Trick来使用
U1S1，1年1度GPU云种草大会来袭，十大活动礼包等你来拿哦～
