马博 · 2022年12月04日 · 陕西

【聆思CSK6 视觉AI开发套件试用】基于CSK6011a_nano的虚拟打砖块交互系统

非常感谢极术社区和聆思科技提供的机会,加之前做过其他视觉模块的测试项目,于是尝试申请了一下(回想一下有3-4年没有参与过这类活动了),没想到在1024节日当天,非常幸运的被选中了,让我有机会再一次证明自己那一颗程序员的心。

环境搭建

开发环境的搭建相对容易,参照聆思科技提供的说明基本一键到底。本人使用的是虚拟机上的ubuntu18.04,搭建环境时在每个命令都加了sudo命令。使用这种开发环境的缺点就是因为视觉采集软件是基于windows的,所以有时不注意的话,会忘了切换usb设备导致工作无法进展。

另外,有时在刷程序时,偶尔会提示板子不存在或者串口有问题,反正我不去理会,重新执行下命令就ok了,至于导致的原因不清楚。

项目简介

当初看到CSK6视觉套件时,第一反应就是与疫情前几年曾经玩过的一个大创项目虚拟“打砖块”交互系统相似,所以就用这个题目再次申请了。

系统功能就是不再用键盘/鼠标来操作挡版的移动,而是通过摄像头的采集,AI识别手势命令来操作挡板左右移动,使运动中的小球可以往复运动,在打掉目标的同时不致掉落出屏幕。

程序难点在于分析CSK6011a_nano识别的手势数据,经过修改源码和串口数据的分析,有了这个手势对应的state,就根据实际的程序效果来进行微调了。
state.png

应用效果

https://www.youku.com/video/X...

整体分析就是由于手势识别的结果是基于串口通信的,所以系统的流畅度不太高,另外,配套的摄像头识别率不高(个人觉得是配套的头肩识别程序的灵敏度有待提高),导致识别手势的反应度也不是很灵敏。

希望

希望聆思科技能提供下自己作模型的指导,这样就不用当前提供的手势来进行操控了,当前的几个手势应用在本项目中有点别扭。

推荐阅读
关注数
5175
内容数
100
聆思科技官方专栏,专注AIOT芯片,持续分享有趣的解决方案。商务合作微信:listenai-csk 技术交流QQ群:825206462
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息