集微网 · 2020年04月15日

《集微公开课》第三期笔记:瑞芯微AI芯布局如何加速AI项目开发?

集微网消息 由于新冠肺炎疫情导致线下活动暂时无法正常举办,集微网于2月初正式上线了“集微直播间”频道,以更专业、更多元化的形式为企业宣传、为业内交流提供支持。

自上线以来,集微直播间已推出多种形式的直播专栏活动,包括:“集微龙门阵”、“芯力量·芯创路演”、“集微直播间·连线”、“集微直播间·开讲”以及企业新品发布会直播等,取得了业内广泛好评。近期,集微直播间又推出了全新直播专栏——“集微公开课”,联合行业头部企业,共同打造行业内最专业、优质的在线培训课程,深化产教融合,助力中国ICT产业发展。

4月14日,第三期“集微公开课”邀请到瑞芯微Toybrick AI开发平台高级研发工程师张昊,带来以《瑞芯微人工智能开发平台实战案例解析》为主题的精彩演讲。

点这里观看回放

image

AI边缘计算的崛起

云时代下探讨边缘计算,得从云计算说起。

2008年被业界称为云计算元年,众多IT巨头忙着发布各自的云计算产品和策略。在全球各国政府的大力推动下,云计算终推翻传统IT架构,拨开云雾见了天明。众所周知,AI的三要素是算力、数据和场景,而云计算正好可提供AI三要素,可以说AI与云计算是天生一对。

image

AI与云计算的结合有哪些优点?张昊指出以下三点:1. 计算资源集中管理和分配,降低计算资源冗余,最大化利用平台资源,便于权限和版本管理。2. 借助服务器的强大性能,可以实现很高的浮点算力和精度水平。3. 云服务器可直接部署训练的模型框架,无需转换和二次开发即可使用。
image
然而云计算并非完美,在应对分散在边缘且需要及时处理的需求时,云计算就显得力不从心了,比如在无人驾驶、某些要求低时延的工业场景中。张昊表示,传统云端AI落地难点在于算力成本高、流量成本高且延迟大以及无法离线工作。

这时,边缘计算这种将计算能力重新下沉至边缘的技术便有了用武之地。边缘计算是指在靠近物或数据源头的网络边缘侧,融合了网络、计算、存储以及应用处理能力的分布式平台,就近提供智能服务。

张昊表示AI边缘计算可线下运行且低延迟,去中心化可保障单个设备损坏不影响其他设备正常工作。相比AI云计算高昂的成本,边缘计算更利于消费电子和移动领域。AI算力正从中心集成化走向边缘部署。

瑞芯微AI芯布局

瑞芯微电子成立于2001年,专注于高端智能硬件、手机配件与人工智能等领域的芯片研发,为智能手机、平板电脑、流媒体电视盒、智能语音、智能视觉、新零售、物联网等应用提供具有竞争力的芯片解决方案。在万物互联的大趋势下,致力于加速融合智能感知技术和实现人工智能场景落地,同时为加快中国芯片产业本土化进程贡献力量。

瑞芯微RK3399 Pro及RK 1808是面向人工智能边缘计算推出的芯片,拥有低功耗、低成本、高算力(3Tops)、支持主流框架等优点。
image
RK3399 Pro采用双Cortex-A72+四Cortex-A53 大小核CPU结构,频率最高1.8GHz。GPU方面,采用Mali-T860MP4 GPU,支持OpenGL ES1.1/2.0/3.0/3.1,OpenVG1.1,OpenCL,DX11。视频方面,支持4K VP9 and 4K 10bits H265/H264 视频解码,高达60fps。1080P 多格式视频解码 (VC-1, MPEG-1/2/4, VP8),1080P 视频编码,支持H.264,VP8格式。

RK1808采用双核Cortex-A35,最高频率1.6GHz。视频方面,支持1080p@60FPS H.264 解码、1080p@30FPS H.264 编码。

两款芯片均采用同一NPU,拥有1920个INT8运算单元、192个INT16运算单元、64个FP16运算单元,最高达3TOps算力,支持RKNN库。

张昊用一张图解释了RK3399Pro及RK1808的NPU性能到底强悍在哪些方面。
image
除了芯片外,张昊还介绍了瑞芯微推出的人工智能开发平台——Toybrick。Toybrick集软硬件开发于一体,硬件上提供了多系列开发平台和参考设计,满足不同用户群体。软件上提供了可靠稳定的系统平台、丰富的开发工具、AI教学案例以及开源社区。为开发者迅速上手AI应用开发,加速AI产品研发进程提供了便利。

瑞芯微边缘AI项目加速

张昊讲解了人工智能项目流程,分为科研过程及项目过程。科研过程分为六个步骤:问题分析、数学建模、数据采集、特征工程、训练和模型优化、模型评估。项目过程同样有六个步骤:论文模型选用、尝试量化和部署、数据采集、模型调整和训练、开发版部署、项目测试。

张昊在项目、模型、策略三个方面指出一些常见的误区和风险,包括人工智能项目的成本及周期、模型的利用、芯片方案的选取等。
image
为加速人工智能项目开发,去年,瑞芯微正式面向全球 AI 开发者发布三大开发套件:AI 开发工具包 RKNN-Toolkit、AI SDK 软件开发工具包 Rock-X SDK,以及 AI 人工智能计算棒 RK1808 AI Compute Stick。

通过RKNN-Toolkit AI 开发工具包,开发者可以完成 TensorFlow、Caffe、PyTorch、MXNet 等模型的转换、量化、性能 Profile、内存耗费统计等任务,快速将 AI 模型部署到嵌入式硬件平台上。新增的混合量化模式,允许对模型的每一层设置量化/不量化以及量化参数。

Rock-X SDK 是基于 RK3399Pro/RK1808 的一组快捷 AI 组件库,包括人脸检测、人脸识别、活体检测、人脸属性分析、人脸特征点、人头检测、人体骨骼关键点、手指关键点、人车物检测等功能模块。
image
Toybrick 1808计算棒提供全套模型保护方案,让模型在计算棒上不用担心被盗走,每颗计算棒上的模型存储秘文均不一样,只有当前计算棒可以使用,拷走无效。加解密过程均运行TrustZone安全环境中,无法跟踪。

最后,在本期公开课中,张昊还详解了基于瑞芯微AI开发平台的实战案例。

随着我国政府不断加大对于人工智能和芯片领域的投入,未来几年将是我国AI芯片技术和市场成熟的重要阶段。人工智能的兴起,给中国在处理器领域实现弯道超车提供了绝佳机会。前瞻产业研究院预计未来几年内,中国芯片市场规模将保持40%-50%的增长速度,2024年,市场将达785亿。瑞芯微在万物互联的大趋势下,将致力于加速融合智能感知技术和实现人工智能场景落地,同时为加快中国芯片产业本土化进程贡献力量。

(校对/Yuna)

推荐阅读
关注数
1088
内容数
139
怀“沟通国内外产业链”之初心,打造业内最及时、专业、深入、严谨的访谈节目
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息