旷视研究院 · 2020年11月05日

ECCV 2020,在视觉任务上大幅超越ReLU的新型激活函数

image.png

“15分钟看顶会”是旷视研究院全新推出的论文快速解读专栏,聚焦旷视在全球各大顶会、期刊等平台所发表的工作,覆盖深度学习、计算机视觉、视觉导航与控制、计算摄影学、大规模机器学习系统、机器人学等方向。
与传统论文视频解读动辄30分钟的时长不同,本专栏尽可能将时间控制在15分钟左右,以方便读者在日常通勤、等待、出行等时间受限的场景下高效利用碎片化时间进行学习、交流。
欢迎大家和我们一起“深度学习”,也欢迎对这种论文解读方式提出您的宝贵建议。
本期是“15分钟看顶会”专栏 ECCV 2020 论文解读系列的第七篇,旷视研究院通过在激活函数领域进行创新,提出一种在视觉任务上大幅超越ReLU的新型激活函数Funnel activation(FReLU),简单又高效。

image.png

具体而言,旷视研究院通过增加可忽略的空间条件开销将ReLU和PReLU扩展为2D激活函数。ReLU和PReLU分别表示为y = max(x,0)和y = max(x,px)的形式,而FReLU的形式为y = max(x,T(x)),其中T(·)是二维空间条件(2D spatial condition)。

image.png

此外,空间条件以简单的方式实现了像素级建模能力,并通过常规卷积捕获了复杂的视觉layouts。最后,对ImageNet数据集、COCO数据集检测任务和语义分割任务进行了实验,展示了FReLU激活函数在视觉识别任务中的巨大改进和鲁棒性。
同学们还可以点击阅读原文,浏览《ECCV 2020 旷视研究院15篇成果总览》,了解更多顶会论文内容。

专栏文章推荐

欢迎关注旷视研究院极术社区专栏,定期更新最新旷视研究院成果
加入旷视:career@megvii.com
推荐阅读
关注数
7707
内容数
164
专注旷视研究院学术论文解读推送,涵盖计算机视觉,文字识别等
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息