Zeee · 2022年11月01日 · 广东

【聆思CSK6视觉AI开发套件试用】AI手势检测识别+编译Helloworld示例

前言:

首先,感谢极术社区联合聆思科技给予宝贵的试用机会。借助本次对CSK6视觉AI开发套件的试用,第一次接触到了可以实现以较低功耗满足音频、图像的AI应用需求的高性能开发板,非常荣幸,十分感谢。同时极术社区中有许多优秀的文章提供了指导,感谢各位大佬的指点。

开发套件资料介绍:

  • CSK6开发套件是聆思科技针对CSK6系自研AI芯片推出的开发板与配件组合方案,该套件具有算力强、功耗低、配套算法丰富的特点,特别适用于搭建视觉交互、语音交互等原型产品,显著提升原型验证和效果体验的效率,轻松玩转多种 Al应用。

5bf1da1b6464687155c791993ab15f9.jpg

开发套件具备以下特性:

  • 上手简单,硬件开箱即用,文档与例程配套完善
  • 硬件资源丰富,满足开发过程中的各类功能验证、调试需求
  • 高度灵活,搭配功能扩展板可衍生丰富玩法,构建完整的语音、视觉开发套件

环境搭建

操作系统:WIN10

安装依赖:

  • 首先,需要安装必要git环境。
    可在终端输入命令:git --version,以检查git已安装成功,如图:
    微信截图_20221101153903.png

搭建开发环境:

微信图片_20221101154040.png

检查开发环境:

  • 当完成环境的安装后,打开终端输入命令:lisa info zep,该指令将输出当前开发环境的安装情况,如图:
    微信图片_20221101154939.jpg

编译 Hello world 示例

  1. 选择目录用于存放即将创建的项目,在这个目录下执行以下命令:
  • lisa zep create
  1. 该命令会列出当前 CSK6适配的项目sample,这时选择[hello_world]进行创建。
  2. 进入创建的hello_world项目的目录,并且执行编译命令。
  • cd hello_world
  • lisa zep build -b csk6011a_nano
  1. 烧录示例程序,使用Type-C数据线连接开发板的DAPLINK USB,执行指令:
  • lisa zep flash

微信图片_20221101160239.png

  1. 通过串口调试助手连接开发板对应的COM串口,以115200的波特率进行连接,将开发板手动复位后,便可看到串口输出:
    微信图片_20221101160518.png

AI手势检测识别

获取源码

执行以下命令拉取 Sample 项目到本地。
(注意代码仓在本地存放的路径不能有中文名称,否则容易引起错误)
git clone https://cloud.listenai.com/zephyr/applications/app_algo_hsd_sample_for_csk6.git

拉取项目 SDK

进入app_algo_hsd_sample_for_csk6目录,执行以下命令;

  • lisa zep init-app # 拉取SDK
  • lisa zep update # 初始化环境

修改配置

打开项目的目录下找到的 prj.conf文件,将CONFIG_WEBUSB=n改为CONFIG_WEBUSB=y 。

编译固件

  • lisa zep build -b csk6011a_nano`

烧录应用程序

  • lisa zep flash`

烧录资源

在app_algo_hsd_sample_for_csk6/resource/res.overlay文件中看到这些资源所占用的分区。

资源分区配置
音视频框架资源<0x400000 0x100000>
算法模型资源<0x500000 0x1ee000>

使用串口烧录

使用 USB 线接上 DAPLink USB口进行烧录,依次执行以下命令,完成资源的烧录。

  • lisa zep exec cskburn -s \.\COMx -C 6 0x400000 .\resource\cp.bin -b 748800
  • lisa zep exec cskburn -s \.\COMx -C 6 0x500000 .\resource\res.bin -b 748800
    (COMx 代表开发板连接到 PC上对应的串口号。例如:COM3)

PC软件查看结果

PC 工具获取

拉取 PC 工具项目 的 csk6 分支到本地。
git clone https://cloud.listenai.com/zephyr/applications/csk_view_finder_spd.git

安装驱动

打开csk_view_finder_spd\src\res目录,按照步骤安装驱动程序Zidig,安装驱动过程,需将 CSK6 USB 接口连接电脑。
微信截图_20221101205355.png

使用工具查看

  1. 使用TypeC数据线连接CSK6接口至电脑,在PC端可看到如下图提示,说明设备已被识别成功。
    微信截图_20221101204932.png
  2. 打开项目csk_view_finder_spd/src目录下的index.html文件点击“选择设备”按钮,选择“CSK View Finder”选项,点击“连接”,即可看到预览图和识别结果;
    微信图片_20221101205518.png
    识别:YES!(识别正确)
    微信图片_20221101205522.png
    识别:STOP!(识别正确)

总结

再次感谢极术社区与聆思科技给予宝贵的试用机会,通过这两天的试用,从各方面上手可以看出CSK6视觉AI开发套件是一款板载CSK6核心模组以及具备开发常用的硬件外设,方便用户快速进行应用开发与验证的开发板,同时方便开发者更便捷地开发智能人工语音类与视觉类AI应用。本次是从例程demo简单的上手开发,最终成功实现了AI识别与示例的功能,接下来我将进一步的探索这块板子的功能。

推荐阅读
关注数
5165
内容数
99
聆思科技官方专栏,专注AIOT芯片,持续分享有趣的解决方案。商务合作微信:listenai-csk 技术交流QQ群:825206462
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息