张新栋 · 2020年04月29日

神经网络原理简述—池化层Op求导

首发:https://zhuanlan.zhihu.com/p/86190898
作者:张新栋

池化层(Pooling),常见的有AvgPooling和MaxPooling,我们这里仅对2D的Pooling进行讨论。其实还是走的三板斧套路,首先我们先看一下AvgPooling2D和MaxPooling2D的简单算例,输入为1-9的3x3矩阵,pooling size为2,stride为1。

对于MaxPooling的计算实际上是取每个池化mask内的元素(对应矩阵相乘,就是当前最大值的元素乘1,其他的乘0,最后求和);对于AvgPooling的计算,实际上是取每个池化mask内的元素平均值。下面我们来看看如何将AvgPooling和MaxPooling化成线性表达式,以及其反向传播的计算方法。

Pooling算例

  • MaxPooling

MaxPooling2D

  • AvgPooling

AvgPooling2D

  • 最后

本文跟大家讨论了池化层的线性化过程及反向求导计算方法,并给出了简单的算例。欢迎大家留言讨论、关注专栏,谢谢大家!

推荐阅读

专注嵌入式端的AI算法实现,欢迎关注作者微信公众号和知乎嵌入式AI算法实现专栏

WX20200305-192544.png
更多嵌入式AI相关的技术文章请关注极术嵌入式AI专栏

推荐阅读
关注数
16751
内容数
1233
嵌入式端AI,包括AI算法在推理框架Tengine,MNN,NCNN,PaddlePaddle及相关芯片上的实现。欢迎加入微信交流群,微信号:aijishu20(备注:嵌入式)
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息