海锋 · 2022年12月12日 · 浙江

【聆思CSK6 视觉AI开发套件试用】基于CSK6的头肩手势检测控制会议相机进行数字变焦

基于CSK6的头肩手势检测控制会议相机实现变倍功能

首先感谢极术社区与聆思科技的信任和支持,有幸用到CSK6视觉AI开发套件进行开发试用。套件已经集成CMOS图像传感器与主控、通信模块、调试接口等,可以直接上手,省去了自己打板的时间与精力投入,可以专注于环境熟悉与代码研究。

一、开发套件介绍

本套开发板是以CSK6011A为核心的可扩展开发板,可以通过插接的方式进行外设扩展。板子做工精良,上手容易。此套件主控功耗低,配套头肩检测、人脸识别、语音TTS等算法,特别适用于搭建视觉交互、语音交互等原型产品,轻松玩转多种Al应用。
image.png

二、实验目标

现在很多视频会议相机的变倍变焦功能,需要使用按键、串口键盘、上位机软件+鼠标或遥控器进行控制,操作繁琐,成本高。现考虑使用CSK6的手势识别功能,代替原来的按键、键盘、鼠标或遥控控制,摆脱外物依赖,使用简单手势就可以实现摄像头变倍变焦,操作简单方便。其架构图如下所示:
image.png
摄像机主控通过GPIO或串口与CSK6进行通信。CSK6检测到手势变化时,可以通过串口或GPIO将状态或数值传递到SOC,SOC检测到相应信息后,配置其内部的视频处理单元,对视频图像进行数字缩放或控制外部镜头电机动作。

三、实现过程

1、下载SDK安装并更新到最新版本

image.png

2、下载算法应用包

image.png

3、修改代码,编译,耐心等待,完成后会打印出“构建成功”字样

image.png

4、烧录编译好的应用

image.png

5、烧录模型,一个是头肩,一个是手势

image.png

6、飞线到被控相机主板,此处使用GPIO控制,当手势V被识别时,输出低电平,相机收到电平变化,进行一次数字变倍。变倍到5倍后恢复到原图像大小。如此循环

image.png

7、安装驱动后PC上出现CSK view finder

image.png

8、使用预览工具预览CSK6的图像,可以看到工作正常

image.png

9、当检测到出现V字形手势时,CSK6与SOC连接的GPIO出现低电平,会议摄像机进行数字放大,检测到一次手势,放大一次

image.png
image.png

四、总结

套件易用性很强,C语言代码实现,上手容易。算法原厂已经做好,识别度也挺高。这么小的芯片,没有外挂内存,实现这样的算法,的确做的很出色。芯片及外围体积较小,很容易集成到其他产品当中。windows环境下就可以开发编译,省去了搭建虚拟机的繁琐。代码简洁,设备树跟linux下的类似。很容易修改。芯片功耗不高,手摸不烫,可以应用到低功耗产品中去。不足之处就是芯片支持的分辨率不高,检测距离有点近。

推荐阅读
关注数
5165
内容数
98
聆思科技官方专栏,专注AIOT芯片,持续分享有趣的解决方案。商务合作微信:listenai-csk 技术交流QQ群:825206462
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息