旷视研究院 · 2020年10月30日

ECCV 2020,如何简单有效地实现迁移学习?

image.png

“15分钟看顶会”是旷视研究院全新推出的论文快速解读专栏,聚焦旷视在全球各大顶会、期刊等平台所发表的工作,覆盖深度学习、计算机视觉、视觉导航与控制、计算摄影学、大规模机器学习系统、机器人学等方向。

与传统论文视频解读动辄30min时长不同,本专栏尽可能将时间控制在15分钟左右,以方便读者在日常通勤、等待、出行等时间受限的场景下高效利用碎片化时间进行学习、交流。

欢迎大家和我们一起“深度学习”,也欢迎对这种论文解读方式提出您的宝贵建议。

本期是“15分钟看顶会”专栏 ECCV 2020 论文解读系列的第六篇,旷视研究院通过在迁移学习领域进行创新,提出一种在归一化后的特征空间,通过迁移进行数据增强的方法,简单且有效。

image.png

传统来说,在特征空间内做迁移学习的方法,会假设不同类别的特征服从方差相同的高斯分布。如果定义特征的“偏移量”为特征向量与类别均值向量的差值,那么传统的迁移方法简单地把“偏移量”叠加到另一个类别的均值上。

image.png

本文发现,当特征被归一化后,即被约束到超球面上后,传统的迁移方法无论是基本假设还是迁移的方法都已经不成立。基于directional statistics,本文改进原有的“相同方差”假设为更符合球面分布特性的“相似方差”,进而提出了更适用的spherical feature transform,用于超球面上的特征迁移学习,且证明了传统的方法是本文提出方法的一种特例。

最后,本文还对所提出的迁移方法在人脸识别,度量学习等数据集上进行了大量的实验和分析,展现和证明了该方法的有效性。

专栏文章推荐

欢迎关注旷视研究院极术社区专栏,定期更新最新旷视研究院成果
加入旷视:career@megvii.com
推荐阅读
关注数
7710
内容数
164
专注旷视研究院学术论文解读推送,涵盖计算机视觉,文字识别等
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息