RTThreadIoTOS · 2021年05月06日

【嵌入式AI周报20210430期】Xilinx推出K26视觉AI核心板

导读:本期为 AI 简报 20210430期,文章架构已经调整,侧重 AI 嵌入式方向,请慢慢食用~

祝大家节日快乐~

本文一共 3700 字,通篇阅读结束需要 10~15 分钟

RT-AK 进展

RT-AK Person Detection Demo

image.png

Github:

https://github.com/EdgeAIWith...\_detection\_RT-AK

STM32 峰会上展示的人形检测项目。

让 AI 在你的板子上尽情舞蹈~

本次实验的是识别摄像头中的人,就一个人,而不是多个。

从多类别检测模型改编而来,只保留 person 这个类别,根据各位看官的能力完全可以改成识别多类

本次项目的篇幅将会较长,请各位看官耐心看完

整体分为三部分:

  1. 模型
  2. RT-AK 使用
  3. 板子上的应用层代码实现

硬件平台 ART-Pi, 50M FLOPS。

我的模型(删减后的模型)最终部署在板子上是推理时间是56ms,不包括数据处理时间。

AI 嵌入式

AI 芯片

1. 黑芝麻智能发布196TOPS华山A1000 Pro芯片,山海人工智能开发工具平台亮相

image.png

原文:

https://www.sohu.com/a/461616577\_430289

4月19日消息,上海车展首日,国内AI芯片创企黑芝麻智能发布新一代车规级自动驾驶计算芯片——华山二号 A1000 Pro、山海人工智能开发工具平台以及面向车路协同的路侧感知计算平台 FAD Edge。

据了解,华山二号A1000 Pro芯片基于黑芝麻智能两大自研核心IP——车规级图像处理器NeuralIQ ISP以及DynamAI NN车规级低功耗神经网络加速引擎研发,得益于DynamAI NN大算力架构, A1000 Pro支持INT8稀疏加速,INT8算力为106 TOPS,INT4 的算力达到196 TOPS,算力能够支持高级别自动驾驶功能,实现泊车,城市内部公开道路,到高速场景等场景的自动驾驶功能。

该芯片是目前国内算力最高的自动驾驶计算芯片,采用采用异构多核架构,16核Arm v8 CPU ,16nm工艺制程,典型功耗仅为25w,支持16路高清摄像头输入,支持ASIL-B级别功能安全,内置ASIL-D级别安全岛,具有高性能、低功耗、安全可靠的特点。A1000 Pro预计在今年Q3提供工程样片,Q4 提供开发平台。

2. 芯驰科技四款车规级处理器芯片亮相上海车展

image.png

原文:

https://finance.sina.com.cn/t...

【TechWeb】4月24日消息,在本届上海车展上,芯驰科技发布了四款全新升级车规级处理器芯片:X9U、V9T、G9Q/G9V。

未来,汽车不仅仅是通行工具,更是人们重要的生活空间,X9U高性能智能座舱芯片,就是为用户能获得极致的舱内体验而设计。

芯驰科技全新X9U处理器具有强劲性能,CPU总算力达到100KDMIPS,3D图形性能达到300GFLOPS,AI计算性能达到1.2TOPS。

在一颗X9U芯片上,能够实现未来智能座舱各项功能的全部集成,不仅可以支持语音、导航、娱乐、环视等常规智能座舱功能,还可以支持DMS、OMS和自动泊车等ADAS功能。

3. 安霸亮相2021上海车展 汽车芯片实力吸睛

原文:

http://www.casmita.com/news/2...

第十九届上海国际汽车工业展览会(以下简称:2021上海车展)于4月19日在国家会展中心(上海)正式拉开帷幕。作为今年全球第一场A级车展,2021上海车展吸引到众多家海内外知名企业积极参展,将以“拥抱变化”为主题,向公众传递汽车工业最前沿的技术成果、行业资讯。

本届上海车展聚焦于挖掘汽车与信息通信、人工智能、互联网的深度融合。

人工智能视觉芯片公司-安霸展示了基于 CV芯片的前视ADAS(高级驾驶辅助系统)的参考设计“Rebel”和L2+多V视觉方案,以及芯片级全方位安全机制和隐私保护的“磐石”。

与此同时,安霸今年1月推出的旗舰产品5纳米的 8K AI 视觉芯片CV5,在2021上海车展上也完成了国内首秀。

安霸的AI SoC可用于低功耗设计、超高清视频压缩、优异图像处理及带AI加速器的车用产品,通过高性能计算给汽车智能视觉感知方案赋能。

AI 硬件

1. Xilinx推出K26视觉AI核心板,可以直接用于产品设计,加速产品上市 | 安富莱嵌入式周报

image.png

原文:

https://mp.weixin.qq.com/s/fO...

Xilinx新的Kria K26核心板,专为加速视觉AI应用而打造,可直接用于产品。Kria核心板在设计时就考虑了软件工程师,无需FPGA编程经验即可提供熟悉的设计环境(使用Xilinx在2019年推出的工具链Vitis,支持C/Python编程,Vitis AI和Vitis加速库允许使用纯软件定义的流程进行端到端应用程序加速-无需硬件专业知识),并通过KV260入门开发套件快速上手。

Kria K26基于Zynq UltraScale + MPSoC架构,该架构带四核Arm Cortex-A53处理器和256K系统逻辑单元,1.4TOPS AI处理性能,4k 60p H.264 / 265视频编解码器,并具有4GB的RAM,16GB的eMMC。

2. Arduino推出用于智能农业的边缘控制板 | 安富莱嵌入式周报

image.png

Image

它可以放置在任何地方,适用于精密农业,智能农业以及其他需要在远程位置进行智能控制的应用。可以通过太阳能电池板或直流输入供电。

这些传感器特别适合智能农业,可以收集实时数据,例如天气状况,土壤质量,作物生长等,获取数据后可以上传云端做后续分析。

嵌入式 AI 项目

1. 无人机开发套件源码开源!具备:5G、边缘计算、物联网等多种功能! | EFTOP

GIthub:

https://github.com/RobSenseTe...

4月18日,杭州若联科技在浙江湖州召开了“5G 无人机系统开发者版发布会”。(点击可跳转原文)

据介绍,i800-5G具备5G网联和边缘计算功能,不仅可以实现超远程飞行控制操作,还拥有定位信息、任务载荷数据融合处理,和自主导航运算的能力。

该版本面向行业应用原型机研发和量产机型研发,适用于院所、高校、公司原型机预研团队、公司量产机型研发团队。能够帮助开发团队降低二次开发成本、缩短概念验证周期,提高整机集成度,并且可靠性已初步验证,有大量实际项目验证的飞行数据积累。

据了解,i800-5G完整资料近期将更新到guide.robsense.com。

2. 超越YOLOv5的PP-YOLOv2和1.3M超轻量PP-YOLO Tiny都来了!| 机器之心

image.png

Image

Github:

https://github.com/paddlepadd...

单阶段目标检测界的扛把子 --YOLO,以其 「又快又好的效果」 在学术及产业界全面风靡。(点击可跳转原文)自 20 年下半年 YOLOv4、YOLOv5、PP-YOLO、YOLO-Fastest 和 YOLOv4 Tiny 等等轮番轰炸、掀起 「YOLO 狂潮」 后,时隔半年,超越 YOLOv5 的 PP-YOLOv2 和 1.3M 超超超轻量级的 PP-YOLO tiny 一起来了!!!

如图 1 可见,PP-YOLOv2 在同等速度下,精度超越 YOLOv5!相较 20 年发布的 PP-YOLO,v2 版本在 COCO 2017 test-dev 上的精度提升了 3.6%,由 45.9% 提升到了 49.5%;在 640*640 的输入尺寸下,FPS 达到 68.9FPS,而采用 TensorRT 加速的话,FPS 更是达到了 106.5!这样的性能,超越了当前所有同等计算量下的检测器,包括 YOLOv4-CSP 和 YOLOv5l !

不仅如此,与 PP-YOLOv2 一同面世的,还有体积只有 1.3M 的 PP-YOLO Tiny,比 YOLO-Fastest 更轻、更快!这样超超超轻量的算法面世,更是很好的满足了产业里大量边缘、轻量化、低成本芯片上使用目标检测算法的种种诉求!

AI 前沿速递

1. 手机拍视频最怕抖,只能靠AI拯救了 | 机器之心

image.png

640

论文地址:

https://arxiv.org/pdf/2102.06...

项目地址:

https://github.com/alex040720...

你拿着手机拍视频时,最大的困扰是什么?

抖……

视频抖动似乎成为亟需解决的一大问题。

近日的一项研究可以很好地解决视频抖动问题。它的效果是如上图这样的:

从画面看,右边的视频抖动明显减少,即使是疾走拍摄,看起来也不那么晃眼

视频画面的稳定与否,很大程度上影响着观感的舒适度!

如何补偿视频抖动,拯救手抖党,来自台湾大学、谷歌等研究机构的学者,提出了防抖新算法,视频拍摄——稳。

具体而言,该研究提出了一种通过估计稠密的扭曲场来实现全帧视频稳定的算法,既可以融合来自相邻帧的扭曲内容,也能合成全帧稳定的帧。

这种算法的核心技术为基于学习的混合空间融合,它可以减轻因光流不精确和快速移动物体造成的伪影影响。

大量的实验结果表明,该研究提出的方法优于以往的视频稳定方法。

2. CVPR 2021 | 阿里达摩院提出半监督视频目标分割新算法,实现SOTA性能| 机器之心

image.png

Image

论文地址:

https://arxiv.org/pdf/2104.04...

本文是阿里巴巴达摩院视觉实验室潘攀博士团队在半监督视频目标分割领域的最新研究成果,已被 CVPR2021 接收。目前以 Space Time Memory Network(STM)为代表的 memory-based 算法在性能上有着巨大的优势,但仍然在部分场景中存在较大问题。(点击阅读原文)

本文分析了 memory-based 算法的局限性,提出建立位置和目标的一致性来作为改进方法,

在 DAVIS、Youtube-VOS 等数据集上取得了 SOTA 结果。该成果同时获得了 DAVIS 2020 半监督视频目标分割比赛的冠军。

3. Google发布语义分割新数据集!顺带开发个模型屠榜,已被CVPR2021接收 | 新智元

image.png

Image

自动驾驶里视觉一直为人所诟病,特斯拉就是经常被拉出来批判的典型。谷歌最近开发了一个新模型,效果拔群,已被CVPR2021接收。(点击阅读原文)

从图像重建3D世界的能力可以分解为两个独立的子任务:单眼深度估计(从单个图像预测深度)和视频全景分割(实例分割和语义分割)。

基于这个研究背景,Google提出一个全新的模型ViP-DeepLab,通过深度感知视频全景分割来学习视觉感知,旨在同时解决单眼深度估计和视频全景分割。

ViP-DeepLab是一个统一的模型,可以对图像平面上的每个像素联合执行视频全景分割和单眼深度估计,并在子任务的几个学术数据集取得了sota结果。

文末福利

1. PyTorch官方培训教程上线:从基本概念到实操,小白也能上手| 量子位

image.png

Image

你是否也有这样的困惑(点击阅读原文):

“看了无数个入门教程,这个门还是没跨进去……”

这一次,你可能终于有救了!

PyTorch官方推出了培训教程,手把手带你飞!

课程从介绍PyTorch基本概念开始,小白看了完全无压力

一步步深入,手把手带你建模、训练、部署

短短八节课程,你就能真正上手PyTorch!

PyTorch官方教程:
https://www.youtube.com/chann...

如果纯英文教程比较吃力,可以参考b站汉化版(@爱可可-爱生活):
https://www.bilibili.com/vide...

以及中文版文字教程:
https://pytorch-cn.readthedoc...

2. 图解 Git 工作原理

image.png

原文链接:

http://marklodato.github.io/v...

此页图解git中的最常用命令。如果你稍微理解git的工作原理,这篇文章能够让你理解的更透彻。如果你想知道这个站点怎样产生,请前往GitHub repository。

基本用法:

上面的四条命令在工作目录、暂存目录(也叫做索引)和仓库之间复制文件。

  • git add files把当前文件放入暂存区域。
  • git commit给暂存区域生成快照并提交。
  • git reset – files用来撤销最后一次git add files,你也可以用git reset撤销所有暂存区域文件。
  • git checkout – files把文件从暂存区域复制到工作目录,用来丢弃本地修改。

你可以用git reset -p,git checkout -p,or git add -p进入交互模式。

也可以跳过暂存区域直接从仓库取出文件或者直接提交代码。

其他新闻

800元造台显微镜,只用手机摄像头和乐高积木的那种

我用树莓派给奶奶做了一个「手机」,语音短信样样行!

美团北京,今日起无人驾驶送外卖

全面挑战x86!Arm公布最强服务器内核及首款ArmV9平台

刚刚,核心舱「天和」出征!中国空间站正式开建,明年 11 次密集发射后完工

MIT 水下机器人新作!用机器学习 18 小时造“派大星”,Daniela Rus 为共同作者

iOS14.5发布!戴口罩也能解锁iPhone,Apple Watch就能搞定

在目标检测中如何解决小目标的问题?

面试必问!| 1. ResNet手推及其相关变形~

最全Normalization!建议收藏,面试必问!

后ResNet时代的顶流EfficientNet


推荐阅读
【20210423期AI简报】RT-Thread AI 套件开源、X86架构大师“游向”RISC-V
【20210416期AI简报】微软分层ViT模型开源、 DIY一只“眼睛”摄像头
【RT-Thread开源作品秀】基于RT-Thread的星务平台研究

原文链接:RTThread物联网操作系统
作者: lebhoryi
推荐阅读
关注数
8062
内容数
181
小而美的物联网操作系统,经过14年的累积发展,RT-Thread 已经拥有一个国内最大的嵌入式开源社区,同时被广泛应用于能源、车载、医疗、消费电子等多个行业,累积装机量超过4亿台,成为国人自主开发、国内最成熟稳定和装机量最大的开源 RTOS。
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息