嵌入式AI第一课|边缘智能开发方法与实践（PPT下载+视频回放）

这系列课程为嵌入式AI七节课系列，包括边缘智能，AI应用开发，人脸识别，多目标检测，语音识别等。本文为嵌入式AI第一课，由OPENAILAB人工智能产品架构专家路明教授分享的关于边缘智能开发方法与实践。

课程简介

• 边缘智能的发展现状与开发方法
• 示例开发平台介绍
• 实时人脸比对开发实操
• 实时物体分类检测应用开发介绍

适用人群

对边缘嵌入式设备与深度学习结合感兴趣的开发从业者，学生，老师及爱好者。

视频回放

回放链接：https://aijishu.com/l/1110000000093189 （跳到9分30秒钟后观看）

PPT精选及下载

文末附件即可下载。

精选问答

1.YOLO系列模型能在EAIDK310开发板上能达到实时吗？
答：这个要看具体的YOLO的模型，如果是Tiny YOLO， EAIDK-310 应该有点困难，Tiny YOLO可能也许一秒能够做个几帧，但是如果是标准的YOLO，EAIDK-310上是达不到的。但是近期EAIDK也会推一些计算能力比较强的平台，欢迎大家关注。

2.联邦计算需要对硬件什么要求，RK3399可以满足吗？
答：应该是可以的，因为深度学习要求的精度会比推理的要高，一般至少是16或32位精度的运算的才能用于学习。不像有些推理的芯片，如果精度为INT8或INT4可能难以满足训练要求的。RK3399可以用CPU或者GPU用于训练，其精度为32位，可以满足要求。其实作为一个分布式的计算，从个体来说对处理的性能没有那么高的要求，因为对它来说它不是只有一个学习的设备，而是有海量的学习设备，所以只要每一个贡献一点力量的话，整个计算是不成问题的。

3.Tengine 可以在其他硬件平台上运行吗？移植难度有多大？
答：Tengine是可以在其他硬件平台上运行的。如果是x86的平台的话，那是可以的，但是x86的话，他就用不到Tengine底层的这些对ARM处理器的优化了。底层的那Tengine就会使用一些第三方的计算库。它还有个好处，就是说Tengine对上层的这些深度学习框架的模型是支持的。Tengine在开源的版本里面有手册，有介绍在x86上怎么样去编译的。

4.EAIDK与树莓派的性能比较怎么样？
答：如果与树莓派4对比的话，它的CPU的性能会比较强，但是EAIDK后续的型号，会推出和树莓派尺寸一样大小，但是性能会比树莓派斯更强得多的带有AI加速器的开发平台,到时候会远超树莓派4的性能的。

5.嵌入式上能做图像分割模型的推理吗？
答：图像分割可能现在支持的AI芯片就是我们嵌入式的这些AI芯片，比方说是像海思或者是海思的那种3559A或者是瑞星微的3399pro，或者是晶晨的A311D，它们可能可以做一些类似maskrCNN的这种类型的模型。但是可能是需要做一些量化的处理，对模型也要做一些精简，我觉得现在提这样的问题确实还是说明还是有点困难的，但是在这两年的发展下面可能能够做实时的话也已经不远了。

6.再量化requantize 和 dequantize这个区别是什么？
答：一个是再量化，然后一个是反量化。requantize就是再量化，是再一次量化。在刚才我们可以看到从FP32到int8是quantize量化，然后从int8到fp32是dequantize，从中间有一个过程，是int32到int8，这个量化与前面的量化过程无关，是requantize。最后得到的int8要转化成fp32，和第一次量化是一次逆向的量化转换，所以被称为dequantize，也就是反量化。

7.浮点量化定点是基于什么理论？
其实我们抛开量化的计算来说浮点量化、定点，其实都是这也是一个常规操作，一个数量值，它用什么样的形式来表达， 都是可以的，既可以用32位，也可以用16位，甚至8位来表示，无非就是看我们对取值范围和精度的要求是怎么样的。浮点量化定点，它的主要思路就是怎么把取值范围比较大精度比较高的浮点值，转换成一个取值范围比较小精度比较低的定点数。具体去量化成定点的话，需要在一个实际处理的数据范围中间取一个最大值和最小值，对应到定点的最大值和最小值。然后就去把浮点映射到定点上，这样的话所有的浮点数在定点上都有一个明确的值，但数值的大小关系是不变的。也可以说是量化处理是一个单调函数。

8.在OpenAILab的EAIDK上是可以直接跑原模型，还是需要进行模型转换？
答：在EAIDK上面所有跑的模型都是tengine的原生的模型，但是并不是说tengine不支持这些caffe或者是TensorFlow的模型。可以用工具去转换以后，然后再用。只支持自有模型格式也有好处，这样的部署方式依赖更少。

下一节课将由EAIDK商业落地专家郭汇江向大家介绍如何快速开发一款AI初级应用。