概 述
分布外泛化（OOD）问题在实际中无处不在，现有AI方法OOD能力欠缺是阻碍其大规模应用的一大瓶颈。当前，可以公开获取的预训练模型能力强，数量大，种类多，为解决OOD问题提供了新的可能性。华为诺亚方舟实验室AI基础理论团队近期提出了一种利用模型库技术（Model Zoo）解决OOD问题的框架ZooD，主要分为模型挑选和模型融合两个模块（如图1所示）。
图1 ZooD框架总览
ZooD突破传统单模型算法设计，基于汇集大量预训练模型的模型库，提出模型自动查搜、快速评估、融合复用指标，相比Finetune评估效率显著提升，同时性能优越，在OOD Benchmarks上取得SOTA表现。相关工作已被NeurIPS 2022接收，论文标题是: ZooD: Exploiting Model Zoo for Out-of-Distribution Generalization。
论文链接：https://arxiv.org/abs/2210.09236
研究背景
实际测试样本的分布与模型训练样本的分布存在差异的现象在实际应用场景中广泛存在。诺亚AI基础理论团队关于刻画数据分布外迁移的工作OOD-Bench【1】指出，OOD特征迁移主要可以分为多样性迁移（diversity shift）和相关性迁移（correlation shift）。传统机器学习算法基于同分布假设，因此模型在OOD数据上的性能通常不理想。此外，在现实应用中，目标域往往是不可知的。而在训练的过程中我们无法获得目标域的任何信息就代表着训练出的模型很难在目标域取得良好的表现，这限制了很多现有机器学习算法在实际场景中的大规模应用。
另一方面，随着深度学习近几年飞速地发展，业界、学术界在各种任务上训练了大量的深度学习模型。并且，我们可以很容易地下载到各种各样的预训练模型，每个模型都是使用了大量的数据和算力训练出来的，具备各种各样的功能。图2展示了华为云平台上提供的各类预训练模型。这些基于大量预训练数据上训练的模型，在迁移到一个下游任务上时具有很强的分布外泛化能力。因此，基于现有预训练模型库，构建高效模型自动查搜和模型融合复用功能，充分发挥这些预训练模型的能力具有很高的应用价值。
图2 华为云平台上提供的各类预训练模型
通过模型库解决OOD泛化问题是一个很有潜力的方向。我们提出一种针对下游任务的预训练模型库高效挑选和融合框架ZooD，可以在大量预训练模型构成的模型库中，快速找到适用于当前任务的模型，并能融合多个最优模型的能力共同解决当前任务，有效提升效率与泛化性。
方案描述
我们提出ZooD，一种针对分布外泛化任务的预训练模型库模型高效挑选和融合方法。该方法主要包括模型快速评估模块和模型特征筛选及融合模块。
1、模型快速评估模块
可快速评估模型库中不同预训练模型对于目标OOD任务的适用性并给出排序。诺亚AI基础理论团队关于什么是可学习的OOD问题的理论研究【2】指出，一个好的特征应该既有信息量（能跨域对label进行预测），又稳定（跨域不变）。基于此，我们的评估指标主要有两部分构成：（D）leave-one-domain-out (LODO) cross validation的预测准确率；（S）域之间特征的稳定性。
我们根据数据域标签（domain label）以LODO的方式将训练数据切分为训练集和验证集。在待评估的预训练模型提取的训练集特征上，通过最大化贝叶斯模型证据得到预测模型，以该模型在验证集上的预测表现作为预训练模型有效性的评价（D）。同时，在待评估的预训练模型提取的训练集特征上估计特征分布，根据该分布计算预训练模型提取的验证集特征的似然函数值作为预训练模型稳定性的评价（S），即评价预训练模型对于不同分布下同一标签的数据提取的特征是否具有稳定性。最后，结合有效性和稳定性给出综合评价并排序。整个计算过程只涉及feature，不涉及backbone，所以非常轻便。
图3 模型快速评估模块示意图
2、模型特征筛选及融合模块
可对每个模型挑选出最合适目标任务的特征，并对适用性高的多个模型进行融合，以实现超越单模型的泛化性能。具体来说，给预训练模型输出特征层的每一个特征引入一个0-1指示变量，该变量决定了对应特征是不是应该被保留。在线性模型的框架下构建层级贝叶斯模型，利用基于变分推断的EM算法估计指示变量的分布，从而选出最有信息量的特征进行激活，去除模型特征中的噪声变量。最后，将多个经过特征筛选的预训练模型的特征拼接并在合并后的特征向量上搭建一个新的预测器。
图4模型特征筛选及融合模块示意图
实验结果
1、模型库构建与下游任务选择
为了验证我们方法的效果，我们使用35个预训练模型构成的模型库，模型之间的区别主要来自于训练数据、训练方法和网络架构，详见表1。
表1 由35个使用不同模型架构、数据集和算法预训练的模型构成的模型库。
对于下游OOD任务，我们选择在七个学界常用的图片分类数据集上进行实验。每个数据集的数据均存在多个分布，目标是在多个分布的训练数据上训练的模型能够泛化到与训练数据分布不同的测试数据上。本文代码实现都基于华为MindSpore平台，代码将会开源在 https://gitee.com/mindspore/models/tree/master/research/cv/zood
2、模型挑选实验结果
我们首先验证模型快速评估模块的效果。我们把不同预训练模型在下游任务全参数微调下的表现排序作为真实排序，与ZooD轻量级计算给出的排序比较并计算匹配程度（Kendall’s tau ）。从表2的结果可以看出，相比其他方法，ZooD对于不同类型的训练数据都取得了很好的效果。通过在多个分布的训练数据上评估预训练模型提取特征的有效性和稳定性，我们的方法能更准确的评估预训练模型在目标任务上的分布外泛化能力，并且在不同类型和具有不同程度分布差异的数据集上表现得更稳定。
表2 在七个数据集上比较ZooD和（a）基于特征的、（b）基于分类器的模型评估方法，数值为Kendall's tau，越接近1表示与全参数微调的排序越匹配。ZooD相比其他方法更准确、更稳定。
从表3的结果可以看出，相比于之前在目标任务上微调每个预训练模型的方法，我们的方法评估预训练模型所需的时间大大缩短，这使得我们可以进一步扩大预训练模型库的规模，充分发挥模型库的优势。
表3 使用ZooD评估35个模型与使用微调的方式评估35个模型所需时间的比较。
3、模型融合实验结果
从图5的结果可以看出，对于预训练模型评估模块选出的模型进行特征筛选，在不同预训练模型个数的情况下，经过特征筛选之后训练得到的模型在分类准确率上稳定优于没有经过特征筛选训练得到的模型。我们的方法可以有效挑选出对于分类任务来说最有信息量的特征，筛去那些对于分类任务来说会起到负面作用的特征，从而提升分类准确率。从表4的结果可以看出，在经过模型挑选和特征筛选与融合之后，基于目标任务训练数据训练得到的模型相比之前使用特殊方法训练得到的单模型在分类准确率上有显著提升，展现了在模型库设定下我们方法的有效性。
图5 使用不同数量预训练模型做特征筛选与融合，相比不做特征筛选分类准确率均有提升。
表4 使用ZooD做模型挑选、特征筛选和融合后的分类效果与其它提升模型泛化效果方法的比较。
总 结
基于我们分布外泛化理论工作【2】的基础上，提出了一种针对分布外泛化任务的预训练模型库模型高效挑选和融合方法：通过贝叶斯框架，评估每一个预训练模型对于不同标签的数据提取的特征是否具有区分度，以及对于不同分布下同一标签的数据提取的特征是否具有稳定性，以此给出对预训练模型在目标任务上泛化能力的排序；通过构建层级贝叶斯模型，估计特征指示变量的后验分布，从而选出最有信息量的特征进行激活，去除预训练模型特征中的噪声变量。
在人工智能蓬勃发展的今天，开源社区上有着大量的具有不同功能的预训练模型，华为云平台上也整理了大量预训练模型，每个模型都是使用了大量的数据和算力训练出来的，具备各种各样不同的功能，并且功能强大。本文的部分研究成果已集成在华为云模型库，充分利用这些已有的模型来学习新任务，建立多个预训练模型的联合使用框架，实现能耗高效、数据高效、可复用多任务以及鲁棒泛化具有很高的商业价值。
参考文献
[1] Ye, Nanyang, et al. "OoD-Bench: Quantifying and Understanding Two Dimensions of Out-of-Distribution Generalization." CVPR 2022 Oral.
[2] Ye, Haotian, et al. "Towards A Theoretical Framework of Out-Of-Distribution Generalization."NeurIPS 2021.
作者：诺亚方舟实验室
文章来源：诺亚实验室
推荐阅读
诺亚自动驾驶研究团队CVPR2022论文分享
ECCV 2022 Oral | 华为诺亚提出单目视觉动作捕捉算法CLIFF，降低动捕误差40%以上
FreeTransfer-X：零标注成本？巧用大模型无缝迁移AI应用至各种语言
更多嵌入式AI相关技术干货请关注深度学习压缩模型论文专栏。欢迎添加极术小姐姐微信（id:aijishu20)加入技术交流群，请备注研究方向。
