非常感谢极术社区和聆思科技提供的机会,加之前做过其他视觉模块的测试项目,于是尝试申请了一下(回想一下有3-4年没有参与过这类活动了),没想到在1024节日当天,非常幸运的被选中了,让我有机会再一次证明自己那一颗程序员的心。
环境搭建
开发环境的搭建相对容易,参照聆思科技提供的说明基本一键到底。本人使用的是虚拟机上的ubuntu18.04,搭建环境时在每个命令都加了sudo命令。使用这种开发环境的缺点就是因为视觉采集软件是基于windows的,所以有时不注意的话,会忘了切换usb设备导致工作无法进展。
另外,有时在刷程序时,偶尔会提示板子不存在或者串口有问题,反正我不去理会,重新执行下命令就ok了,至于导致的原因不清楚。
项目简介
当初看到CSK6视觉套件时,第一反应就是与疫情前几年曾经玩过的一个大创项目虚拟“打砖块”交互系统相似,所以就用这个题目再次申请了。
系统功能就是不再用键盘/鼠标来操作挡版的移动,而是通过摄像头的采集,AI识别手势命令来操作挡板左右移动,使运动中的小球可以往复运动,在打掉目标的同时不致掉落出屏幕。
程序难点在于分析CSK6011a_nano识别的手势数据,经过修改源码和串口数据的分析,有了这个手势对应的state,就根据实际的程序效果来进行微调了。
应用效果
https://www.youku.com/video/X...
整体分析就是由于手势识别的结果是基于串口通信的,所以系统的流畅度不太高,另外,配套的摄像头识别率不高(个人觉得是配套的头肩识别程序的灵敏度有待提高),导致识别手势的反应度也不是很灵敏。
希望
希望聆思科技能提供下自己作模型的指导,这样就不用当前提供的手势来进行操控了,当前的几个手势应用在本项目中有点别扭。