我们在进行CNN模型推理的时候，需要预先从DDR或者ROM中加载AI模型。大家平时一般用的是create from file的形式，为了保护自己的模型IP，一般会在模型上面做一些混淆。下面我们介绍另外一种方式，create from buffer。在编译算法sdk的阶段，可以将AI模型作为机器码编译进so中，算法加载的时候从栈内存进行加载就可以。这...
当前我们在做端侧的AI处理的时候，很难百分百的将整个网络的推理过程做到一个graph里面。于是我们将AI在端侧的推理过程一般化，可以分成如下三个过程：（1）网络预处理（2）网络主体推理（3）网络后处理。
应朋友的委托，希望我来帮忙评估一下RV1126（RV1109）的AI性能。这两款芯片是pin2pin的，RV1109的算力为1.2Tops，RV1126的算力为2.0Tops。参与评估的网络为典型的Resnet50，模型链接: 下载链接。rv11xx的sdk是淘宝上花25 RMB买的（2020-11-24release的版本），评估板也是淘宝上淘的一块人脸识别面板机，里面用的是rv1126...
最近需要在PC平台做视频的编解码，需要同时支持多路的视频，在做方案预研的时候就没有往软解、软编的方案去想。我的PC中装配了Nvidia的显卡，于是考虑用硬编、硬解的方式来处理。
我们在算法模型中往往采用了大量的BN层，但是在inference阶段，很多BN层的使用是可以合并到一些线性运算中的（比如文章题图中的Conv + BN + Act组合）。我们将Conv + BN + Act的算子进行融合后，只需要采用一个Conv + inplace activation就可以完成原有的3次Op计算，绝大多数情况下还能得到一致的数值结果（算子融合极少...
我们在做深度学习的网络训练阶段，会不经意的引入很多额外的Op，加大porting的难度、增加porting的流程。虽然我在很多项目中都尽力的去协调training和porting两端的工作，但是很多时候还是很难做到一个很完整的闭环，特别是碰到不熟悉的框架的时候。最近碰到了一个小case，相信我们很多同学在进行porting的时候也会碰到...
之前跟大家简单介绍过基于RK1808设备去开发和调试的基本流程，大家如果感兴趣的话，可以参考RK1808-AI开发手记（一）开篇。本文我们选取一个简单的例子来跟大家一起走一下这个流程，我们这里选取end-to-end的人脸姿态估计器来作为porting的样例。本文主要有4个讨论点，分别为：1、人脸姿态估计简介 2、 上位机数值验证 3...
之前的一些文章主要跟大家探讨如何在端上的cpu做AI的推理加速，推理框架不限于MNN、NCNN、Tengine、ArmNN等等。今天跟大家讨论一款比较有意思的设备，瑞芯微出品的RK1808。该芯片的其他参数，大家感兴趣的话可以网上搜索相关的datasheet，我们在本专栏仅关注其AI方面的能力。该芯片峰值算力可达3 TOPS（int8），同时也支...
订阅极术公开课，即时获取最新技术公开课信息
Arm相关的技术博客，提供最新Arm技术干货，欢迎关注
{代码...} 作者 | 火柴Q、杨逍编辑 | 火柴Q火了3年，AI看起来在全面降温。在2018年的Gartner技术成熟度曲线中，刺激此轮AI热潮的代表性技术——深度学习（Deep Learning）已到了泡沫顶峰，可能需要2至5年才能进入最后的稳定发展平台期（Plateau of Productivity）。前几年大热的一轮轮AI热门落地方向各自面临困境：金融、...
在专栏之前的文章，我们介绍过ArmNN，详情可参考被低估的ArmNN（一）如何编译。这里，我们给大家介绍如何使用ArmNN在Android设备上进行部署，部署的任务以Mobilenet分类器为例。关于Mobilenet回归器的训练，大家可以参考如何DIY轻型的Mobilenet回归器。我们今天的部署平台仍然是基于RK3399嵌入式平台，系统为Android-8.1...
MNN 是一个轻量级的深度学习端侧推理引擎，核心解决深度神经网络模型在端侧推理运行问题，涵盖深度神经网络模型的优化、转换和推理。目前，MNN已经在手淘、手猫、优酷、聚划算、UC、飞猪、千牛等 20 多个 App 中使用，覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景，每天稳定运行上亿...
嵌入式端AI，包括AI算法在推理框架Tengine，MNN,NCNN，PaddlePaddle及相关芯片上的实现。欢迎加入微信交流群，微信号：aijishu20（备注：嵌入式）
