2017年开始,“AIoT”开始逐渐被大众所熟知。边缘计算设备作为分析处理数据的基础支撑,在该领域中的作用也日益凸显。
凭借小体积、高性能、低功耗等先天优势,ARM在边缘计算兴起这波浪潮中发展迅速,并汇集了苹果、高通、联发科等企业在移动智能设备市场“大杀四方”。
但跟移动设备市场不同,AIoT领域存在着严重的应用场景碎片化问题,软件适配、优化成本和AI项目开发、迁移的门槛居高不下。导致强如高通这样的企业,在该领域内的应用落地案例也屈指可数。
如今,这样的困扰不复存在。AidLux针对高通平台进行了深度适配和全面优化,在软件层面补足和提升了高通芯片在AIoT方面的能力,助力企业快速切入AIoT万亿市场。
01.推理运算性能翻倍 仅用Python即可自由调度计算资源
通过搭载AidLux,高通芯片可以直接用于AIoT领域,用户仅使用Python即可根据需求单独调用CPU、GPU和DSP/NPU。
也可以直接选择AidLux智能调度模式AAS(AidLux Auto Schedule),实现动态调度计算资源以进一步提升模型运算帧率。
经过测试,使用AidLux后,高通芯片的性能提升效果能够超越官方数据30%以上。
(Aid综合调度对比)
结合可视化性能监控平台,用户可直观查看YOLOv5、movenet、resnet50、mobilenetv2等模型在基于高通SoC的硬件上加速效果。
(YOLOv5模型加速效果,测试硬件基于高通骁龙865)
(Movenet模型加速效果,测试硬件基于高通骁龙865)
(Resnet50模型加速效果,测试硬件基于高通骁龙865)
(mobilenetv2模型的加速效果,测试结果基于高通骁龙865)
从测试结果看,AidLux更充分地发挥了高通芯片算力,以软件优化方式,显著提升了AI执行性能。
02.AI项目开发全流程支持 模型训练、转换、部署一气呵成
AidLux还为AI项目开发、部署、落地提供全流程的AI工具链支持,用户可以通过AidLux将AI项目快速迁移、轻松部署到高通平台,并且提升AI模型运行效率。
传统AI项目需要开发团队经过数据采集、标注、模型训练和测试、模型封装和集成开发等数十个步骤,过程中要消耗大量的资源,绝大多数项目耗时至少半个月以上。
而使用基于AidLux平台能力的AI Creator,能够对传统开发步骤大幅度“缩减”,降低资源投入的同时,有效缩短开发周期,仅需简单几步就能完成传统方式下一个团队将近20天的项目。
研发流程
针对模型优化和迁移的需求,AidLux提供了简单快捷易上手的工具。
用户可以使用量化压缩工具进行模型优化,根据项目需求自由选择单独或组合使用模型压缩、retrain和量化等3个优化点。
经过测试,处理后的模型精度几乎没有损失,推理速度大幅提高。
使用AidLux提供的模型转换工具,用户能够在30分钟内完成AI模型从X86平台到高通平台的高效迁移,在保证运行的同时,推理速率同样显著提升。
除了模型训练、优化、迁移、性能加速等AI工具链的支持以外,AidLux针对高通SoC还打造了AidCV 图像处理框架,能够调用高通GStreamer和FastCV实现高速图像处理。
03.AidLux强力赋能,高通一“芯”多用 让碎片化的AIoT行业应用快速落地
据一则市场数据显示,2021年AIoT行业中AI渗透率仅为4%。深究其原因,会发现问题的根源在于AIoT行业开发异构及碎片化。
这个AIoT行业上下游企业和开发者绕不过的坎,正在被AidLux通过软件层面的能力化解,如今已经成功在高通平台实现一“芯”多用,让AI渗透AIoT行业另外约96%的场景并快速落地。
16路推拉流及AI结构化分析同时进行
在AidLux提供的AI工具链的支持下,某IPC生产厂商一直无法运行在高通平台的算法,仅用半天时间就成功迁移到高通平台。
得益于AidLux对硬件算力的综合调度和编解码的优化,该设备在实现16路推拉流的同时,能够运行算法,进行画面实时AI分析。
搭载AidLux的高通平台硬件,凭借对算法的高性能支持和硬件的超高性价比,已经成为厂商在智慧安防行业的首选。
工业检测场景增加AI质检能力
目前市面上多数智能工厂采用的是传统工控机+算力卡的方式实施视觉检测,随着检测需求的变更,在体积大、功耗高的槽点背后,传统检测方案换产难的问题越来越凸显。
这个困扰某芯片模组大厂的难题,也被搭载AidLux的ARM架构硬件方案完美解决。
AidLux对ARM架构硬件综合算力的充分调用,让一台体积小、功耗低的设备就能解决传统方案中工控机+算力卡的需求,成本仅为原有方案的30%,后续换产周期降低70%。
同时解决人机交互&ROS&AI多场景
说到智能,就离不开服务机器人。
对机器人行业比较了解的话,会发现目前服务类机器人大多由两块板卡作为支撑,其一安装Android用于交互,其二安装Linux用于ROS、定位导航、AI算法运行。
AidLux能够让搭载高通芯片的一块板卡同时满足机器人双系统需求,将板间局域组网优化为系统内核通信,实时性提升高达10倍。
在硬件成本降低的同时,开发和维护成本也减少60%。
并且在更高的视觉AI算力支持下,服务类机器人能在送餐、导览、安防巡检等不同应用场景中更好地完成各种AI视觉任务,增加市场竞争力。
国务院《新一代人工智能发展规划》指出,到2025年中国人工智能核心产业规模超过4000亿元,带动相关产业规模超过5万亿元。
而ARM在移动处理器和物联网处理器市场都占据了90%的市场份额,还计划在2028年实现65%的网络设备市场、90%的车载信息娱乐和驾驶员辅助市场以及25%的数据中心市场。
通过AidLux的强力赋能,ARM阵营里的龙头高通能够快速切入和发力AIoT市场。基于高通芯片的ARM架构方案,能够更广泛地应用于各种碎片化的智能网联边缘计算场景中。
未来,AidLux会继续致力于解决开发异构和碎片化问题,为AIoT行业提供更具性价比的方案满足合作伙伴在智慧工业、AI教育、智能安防、机器人等领域的需求,让行业应用更高效,更快速地落地。