胖墩墩 · 2022年11月07日 · 江苏

【聆思CSK6 视觉AI开发套件试用】体验头肩检测和手势识别初体验

一、CSK6芯片简介

CSK6 是聆思科技新一代的 AI 芯片 SoC 产品系列,采用多核异构架构,集成了 ARM Star MCU,HiFi4 DSP,以及聆思全新设计的 AI 神经网络处理内核 NPU,算力达到 128 GOPS。多核异构的设计使芯片能以较低功耗满足音频及图像视频的 AI 应用需求。

快来康康本次试用的主板的模样和各部分功能,视觉模块在另一部分。
8ca4eb2bbe9249703caea4fa4480e64.png
完整的板子套件是这样的,非常棒!还有网络模组(C3网络模块)。
a3468135451262afd35a0405c2a33fe.jpg

二、开发环境安装与实践

本次开发的环境是在window10的环境下进行的,在开发的过程非常的顺利,不得不说这是我用的最丝滑的开发板之一。上手非常的快,官网的教程也写的非常棒,跟着文档一步步去实现正常都能实现效果。

1、安装git;
2、安装CSK6一键安装包,安装包1.8G左右,得耐心下载;

CSK6一键安装包 是面向 Windows 操作系统的 CSK6 开发环境集成安装包,本安装包会完成CSK6开发环境搭建、SDK部署等一系列操作,方便您快速拥有一个可以即刻进入业务开发阶段的环境。

3、检查开发环境: lisa info zep
4、创建程序:lisa zep create
5、编写“hello_world”第一行代码。
6、编译程序:先cd到 cd hello_world程序目录,尔后输入 lisa zep build -b csk6011a_nano
7、烧写程序: lisa zep flash
8、用串口调试助手查看输出结果。

主程序代码:

#include <zephyr/zephyr.h>

 void main(void)
 {
    printk("Hello World! %s\n", CONFIG_SOC);
 }
 

e4cf2ca27e51a45f53bb6de7c90546c.png

三、视觉能力与构思

原本的初衷是想利用API进行人脸识别,如果是正确的人脸则可以打开门锁的SDK。研究了一下官网的文档之后觉得还有一些技术问题还没思路,暂时先体验一下头肩检测和手势识别。分别为LIKE(👍)、OK(👌)、STOP(🤚)、YES(✌️)、SIX(🤙);

1、安装vscode;
2、安装扩展插件,csk-application-develop-plugin
3、下载代码lisa zep create --from-git https://cloud.listenai.com/zephyr/applications/app_algo_hsd_sample_for_csk6.git
4、在vscode插件中配置烧录程序的套件型号;
5、开启PC端预览功能,打开项目的根目录下找到 的 prj.conf 文件,将 CONFIG_WEBUSB=n 改为CONFIG_WEBUSB=y。
6、编译固件,lisa zep build -b csk6011a_nano
7、编译程序;
8、烧录程序;
c95fba58aa2318f89486681c4df64b4.png
9、获取PC端测试工具,git clone https://cloud.listenai.com/zephyr/applications/csk_view_finder_spd.git
10、使用 Chrome 内核的浏览器,打开项目 csk_view_finder_spd/src 目录下的 index.html 文件;
11、安装驱动,并把数据线插入到开发板的左边接口。
12、连接设备,开始测试。
13、识别效果展示:
2fe5b27ba29f1abb41cab67a0c48ee3.png
8a2e1abce9d902d7f164f9b91644e69.png
84f66b3e72e9a769d79b77f682e5798.png
e7dd783009f9bb5cd3cdf6dcf40640c.png
c029341c236e64e3479644dd81da2a2.png

总结:接下来要更深入的研究一下这套件强大的功能,最好能适用网络模块来进行数据传输,也可以将压缩后端资源存储在设备中,进行边缘计算。总体而言设备识别率比较好,除了摄像头是单摄像头拍的照片不是很清晰,其他没什么毛病。有个大胆的建议,不知视觉模块是否可以增加红外摄像头来进行活体检测。

推荐阅读
关注数
5165
内容数
98
聆思科技官方专栏,专注AIOT芯片,持续分享有趣的解决方案。商务合作微信:listenai-csk 技术交流QQ群:825206462
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息