未见 · 2022年12月05日 · 江苏

【聆思CSK6视觉AI开发套件试用】AI智能识别手势

很开心能参与极术社区和聆思科技联合举办的这次试用活动,以前一直都是使用的MCU开发产品,通过聆思的这颗CSK6011A智能AI芯片让我第一次领略到AI加持的魅力,CSK60XX是一颗集成了ARM Star MCU,HiFi4 DSP,以及聆思独有的AI神经网络处理内核(NPU)的多核异构SoC产品。我手上这颗6011A是集成了8MB的PSRAM不集成FLASH的产品,所以聆思的开发板上也是很大方的放置了一颗16MB的外挂flash芯片。

开发板介绍

整个开发板布局相当对称,底板是一个三组的排针接口,正中间放置的就是我们的“最小”开发板,之所以要打引号是因为最小开发板其实是这个板上的核心板,核心板才是最小系统板,它仅包含了CSK6011A运行所必须的晶体、flash、电源电路,其余的诸如调试器、用户按键、指示灯等都是在开发板上的。核心板最上方有两组2x4pin的排母,上面可以插一个WiFi模组,有了它,芯片就可以实现网络功能,AI+互联网,这才是人工智能的最终形态。

底板的左侧排针,是用来插我们的摄像头小板,说真,这个设计有点醉了,整个小板就一个摄像头模组,我见过的绝大多数的开发板,摄像头模组都是以座子的形式直接焊接在开发板上的,需要的时候直接插上,很方便,聆思家的这个设计是比较新颖的了(当然我是不会说hao wu ren xing的,哈哈哈!),底板右侧的排针,就是可以用来外接各种外设器件,输入输出信号的。其实我觉得,只要把摄像头的座子排在开发板的背面,其实摄像头的开发板和这块硕大无比的底板,都可以省掉了。这里稍稍的有点铺张浪费了。

开发环境的搭建

其实这里也没什么好说的了,聆思的官方文档以及说的比较详细了,官方教程请移步:环境搭建

首先,根据你的系统,安装一些依赖项,比如git,如果是Windows10及以上系统,就比较简单了,直接下载一键安装包,安装完成以后,可以使用如下命令,检查一下安装环境:

lisa info zep

出现类似下面的画面,就表示你安装完成了。
image.png

SDK示例的运行

使用git拉取一下SDK代码:

git clone https://cloud.listenai.com/zephyr/applications/app_algo_hsd_sample_for_csk6.git

git下来以后,我们cd进入目录内部
image.png

根据官网文档的说明,我们可以得知这个目录的目录结构:
image.png

我们在文档下新建一个工程目录,使用如下命令创建一个demo工程

lisa zep create --from-git https://cloud.listenai.com/zephyr/applications/app_algo_hsd_sample_for_csk6.git

打开PC端图像预览功能需要修改项目配置文件:
在项目的根目录下找到 的 prj.conf文件,将 CONFIG_WEBUSB=n 改为CONFIG_WEBUSB=y。

使用lisa zep build -b csk6011a_nano命令编译固件
使用串口(正对USB口右侧那个)烧录应用程序

lisa zep flash
lisa zep exec cskburn -s \\.\COMx -C 6 0x400000 .\resource\cp.bin -b 748800
lisa zep exec cskburn -s \\.\COMx -C 6 0x500000 .\resource\res.bin -b 748800

在侦测到串口以后会自动烧录,注意后面两条命令需要把对应的COMx改为你自己的COM口
image.png

烧录完成以后继续使用git拉取网页版预览工具

git clone https://cloud.listenai.com/zephyr/applications/csk_view_finder_spd.git

烧录完成以后,把USB线切换到左边那一个.

在scr/res目录中找到并安装zadig软件,选择options中的list All Device设备,找到聆思的设备并选择winusb安装驱动程序(安装时间可能会比较长,需要耐心等待一会):
image.png

安装完驱动程序以后,设备管理器中会新增一个USB设备;
在目录下的scr文件夹中,使用浏览器打开index.html,并在打开的页面中选择设备,找到我们的板子,可以看到画面虽然不是非常清晰,而且即使是头部被遮挡了一大部分,摄像头还是能准确的捕捉到头部所在的位置。

image.png

后续打算使用这个功能来做一个可以跟随人实时调整角度的风扇。

推荐阅读
关注数
5165
内容数
99
聆思科技官方专栏,专注AIOT芯片,持续分享有趣的解决方案。商务合作微信:listenai-csk 技术交流QQ群:825206462
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息