yahei 头像
关注了
4
粉丝数
3
最新动态
  • 关注了用户 ·
  • 关注了专栏 ·
    图标
    深度学习压缩模型论文

    深度模型压缩、加速、自动搜索。

  • 关注了用户 ·
  • 发布了文章 ·
    细数目标检测中的损失函数

    目标检测中最经典的损失函数就是Faster RCNN所用的“softmax交叉熵分类损失 + SmoothL1回归损失”的形式,后来有很多改进的目标检测网络、方案也陆续提出了一些损失函数上的改进。

    摘要图
  • 发布了文章 ·
    从SENet到ResNeSt

    论文:《Squeeze-and-Excitation Networks (CVPR2018)》提出了SE模块,是注意力机制的一种应用,学习特征图上通道间的相关性,作为权重ReScale各个通道;SE模块相当于一个轻量级的插件,可以方便地插入到已有的网络中去。SE模块深受研究者们的喜爱,可以看到后来的新网络都热衷于使用SE模块。但实际应用中,带有SE模块的...

    摘要图
  • 发布了文章 ·
    分类网络速览

    原文链接:[链接]参考:《Hands-On Machine Learning with Scikit-Learn and TensorFlow(2017)》Chap13《卷积神经网络——深度学习实践手册(2017.05)》CNN的典型组合方式是,以 卷积层+激活函数(比如relu)+池化层 作为一组操作;一张图片经过若干组这样的操作的stack之后,变得越来越小,同时越来越深(feature maps越来...

    摘要图
  • 发布了文章 ·
    优化器

    原文链接:[链接]参考:《Hands-On Machine Learning with Scikit-Learn and TensorFlow(2017)》Chap11torch.optim常见的加速训练技术:恰当的的权重初始化策略:打破初始值的对称性,初始值也不能太小恰当的激活函数:选用导数数值范围稍大的函数批量归一化:平滑损失平面复用部分预训练网络:复用预训练结果使用恰当的...

    摘要图
  • 发布了文章 ·
    梯度消失与梯度爆炸

    在深度学习任务中,随着层数的增加,因为反向传播的链式求导规则,梯度容易出现指数形式地减小或增长,从而导致梯度消失(非常小,训练缓慢)或梯度爆炸(非常大,训练不稳定)现象的发生。相比CNN,RNN更容易出现梯度消失和梯度爆炸问题,这一点在《梯度消失与梯度爆炸 - 为什么RNN通常不用ReLU? | Hey~YaHei!》中有一...

    摘要图
  • 发布了文章 ·
    损失函数

    目标函数(target function)、损失函数(loss function)、代价函数(cost function)是一个东西~目标函数是一个用来衡量模型预测结果与实际结果(通常称为Ground Truth)之间差距的一个函数,在深度学习中,训练模型通常就是指以最小化该差距为目标进行反向传播和更新参数。参考:

    摘要图
  • 关注了用户 ·
    图标
    腾讯技术工程

    腾讯官方AI ,云计算等干货合集,欢迎关注~

  • 发布了文章 ·
    移位量化(对数量化)

    移位量化也可以称为对数量化,将数值从浮点数的形式量化为一个整数或定点数,但它与线性量化不同,两个相邻数之间是在以2为底的对数域上均匀分布的,这使得实际推理当中可以直接通过移位运算来快速实现,同时也拥有随比特数增长而指数增长的大动态范围。移位量化既可以只量化权重(对激活值移位),也可以只量化激活(对...

    摘要图
  • 关注了用户 ·
    图标
    梁德澎

    github:[链接]知乎:[链接]

  • 赞了文章 ·
    详解Winograd变换矩阵生成原理

    本文想把有关Winograd这个算法背后所涉及到的数学知识用比较通俗的方式给读者描述一遍,并且在这的过程中也会添加一些我个人的理解。作者:梁德澎首发知乎:[链接]

    摘要图
  • 发布了文章 ·
    二值量化

    最近号称达到MobileNet水平的二值网络MeliusNet面世,趁这个机会顺便梳理一下二值量化的发展历程吧。

    摘要图
  • 发布了文章 ·
    语义分割速览

    分割任务论文集与各方实现:[链接]pytorch model zoo:[链接]gluon model zoo:[链接]SOTA Leaderboard:[链接]

    摘要图
  • 发布了文章 ·
    快如闪电的人脸检测——Tengine+libfacedetection

    前几天,深圳大学于仕琪老师突然开源了libfacedetection——号称最快的人脸检测项目(超越OpenCV,史上最快人脸检测系统开源 | 新智元)吸引了一大波人脸检测应用开发者围观,紧接着Tengine也立马对libfacedetection模型增加了支持,让我们一起来看看,在Tengine加持下的libfacedetection能快到什么程度吧!

    摘要图
  • 发布了文章 ·
    树莓派也能玩转深度学习——Tengine推断引擎

    一直以来,树莓派以其良好的社区生态,广受嵌入式爱好者、创客欢迎。在一些相关的社区上(比如树莓派实验室),我们可以看到非常丰富的应用示例及其教程。但在树莓派上的深度学习应用并不常见,这主要是受到树莓派计算力的限制,比如之前看到过有人把yolov2原原本本生硬地部署到树莓派上,结果每一帧检测耗时高达6分钟!...

    摘要图
  • 发布了文章 ·
    RK3399上Tengine平台搭建

    Tengine 是OPEN AI LAB 为嵌入式设备开发的一个轻量级、高性能并且模块化的引擎。 Tengine在嵌入式设备上支持CPU,GPU,DLA/NPU,DSP异构计算的计算框架,实现异构计算的调度器,基于ARM平台的高效的计算库实现,针对特定硬件平台的性能优化,动态规划计算图的内存使用,提供对于网络远端AI计算能力的访问支持,支持多级...

    摘要图
  • 发布了文章 ·
    漫谈池化层

    参考:《Hands-On Machine Learning with Scikit-Learn and TensorFlow(2017)》Chap13 《Hands-On Machine Learning with Scikit-Learn and TensorFlow》笔记《卷积神经网络——深度学习实践手册(2017.05)》《Deep Learning 深度学习(2017)》基本的池化操作简单的聚合操作,取均值、取最值等,分别称为平均池化(Average P...

    摘要图
  • 发布了文章 ·
    漫谈卷积层

    去年刚入手深度学习的时候写过一篇《卷积神经网络CNN | Hey~YaHei!》,简单介绍过卷积层——不过经过一年的学习和实践,对卷积又有了新的认识,原本讲道理应该直接更新修改去年的那篇博文的。但是那篇博文涉及面较广,不单单讲卷积,而且之后还写过几篇引用了那篇博文的内容,拾起来魔改似乎会打乱博客的结构,想想还是新...

    摘要图
认证与成就
获得 31 次点赞
2019年07月18日 加入
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
Arm中国学堂公众号
关注Arm中国学堂
实时获取免费 Arm 教学资源信息
Arm中国招聘公众号
关注Arm中国招聘
实时获取 Arm 中国职位信息