【聆思CSK6视觉AI开发套件试用测评】使用CSK6手势识别操控Unity3D游戏及待优化问题探讨

非常幸运能被聆思科技选中，获得测评CSK6的机会，感谢官方大大和超级nice的客服小姐姐(笔芯^\_^)。一拿到芯片的第一反应就是想做一个手势操控的Unity3D小游戏，应该会蛮好玩的(童心未泯^\_^)，经过一番折腾，终于搞定了，但也有一些待优化的方面感觉可以讨论。由于最近一直比较忙，文章现在才发出来。

拆箱组装好后如图所示：
title=

1、烧录

按照官方文档烧录了hello\_world，测试了串口工具，比较容易，一切OK。
title=
title=

2、体验手势识别

然后按照官方AI头肩检测实例项目的开发指引下载、配置prj.conf、编译并烧录了相应源代码，一路顺利过关。
title=
按照PC 查看工具指引下载查看工具，并一路安装测试OK。
title=
title=
(原谅我单手手机拍照技术太菜，但必须得说手势识别效果真是666)

3、源码研究

接下来就是花了些时间好好看了下[app\_algo\_hsd\_sample\_for\_csk6]的项目源码，找到非WEBUSB情况下的串口数据输出代码 :

LOG_INF("gesture result id: %d,state: %d", result->id, result->gesture_state);

title=

考虑到我的Unity3D项目中要使用串口而非webusb，所以将prj.conf文件中的CONFIG_WEBUSB设置为n，编译对应项目代码(添加-p将编译产物文件夹恢复原始状态来进行编译)，并将代码通过lisa zep flash 烧录进芯片。

title=
title=

4、创建Unity3D游戏场景(略过一万字...)

title=

5、编写Unity3D代码

这里我先是直接把数据线插到了CSK USB口，导致在使用如下代码查找串口连接时总是找不到，最后是将数据线连接到DAPLink USB上时才找到串口连接的（期待官方如果能出一个对各种常用语言的串口搜寻和连接示例代码）。

string[] portList = SerialPort.GetPortNames()

我的串口是COM3，这里直接连接它，全部代码如下：

//连接对应串口，并开启数据监听函数
sPort = new SerialPort("COM3", 115200, Parity.None, 8, StopBits.One);
        sPort.ReadTimeout = 10;
        try {
            if(!sPort.IsOpen) {
                sPort.Open();
                Debug.Log("sPort Open.");
                StartCoroutine(DataReceiveFunc());
            }
        }catch (Exception ex ) {
            Debug.Log(ex.Message);
        }

        StartCoroutine(CountdownThenCloseUsbRoutine00());
        
        
        //数据监听函数
        
    IEnumerator DataReceiveFunc() {
        while(true) {
            // Debug.Log("sport.isopen: " + sPort.IsOpen.ToString());
            if(sPort != null && sPort.IsOpen) {
                try {
                    processDataFunc();
                }catch (Exception ex) {
                    Debug.LogError(ex);
                }
            }
            yield return new WaitForSeconds(Time.deltaTime);
        }
    }

然后是数据转换函数，供参考。

    //数据转换函数
    
    private static string byteToHexStr(byte[] bytes) {
        string str = "";
        if(bytes != null) {
            for(int i=0; i < bytes.Length; i++) {
                str += bytes[i].ToString("x2");
                str += "_";
            }
        }
        return str;
    }

    private static string hexStrToStr(string hexstr) {
        string[] hexvalsplit = hexstr.Split("_");
        string end = string.Empty;
        foreach(string hex in hexvalsplit) {
            try {
                int val = Convert.ToInt32(hex, 16);
                string strVal = char.ConvertFromUtf32(val);
                char charVal = (char)val;
                end += charVal;
            }catch(Exception ex) {
                break;
            }
        }
        return end;
    }

重点的手势识别结果解析及游戏动作控制部分代码如下：

    string msg = "";
    private void processDataFunc() {
        int n = sPort.BytesToRead;
        byte[] buf = new byte[n];
        sPort.Read(buf, 0, n);
        bufList.AddRange(buf);
        string hexStr = byteToHexStr(buf);
        if(hexStr != "") {
            string str = hexStrToStr(hexStr);
            // Debug.Log("str : " + str);
            int i0 = str.IndexOf("<inf> main: gesture result id: ");
            if(i0>=0) {
                msg= "";
            }
            msg += str;
            int i1 = msg.IndexOf("state: ");
            if(i0>=0 && i1>=0 && i1>i0+30) {
                Debug.Log("msg: "+msg);
                int action = Convert.ToInt32(msg.Substring(i1+8,1));
                if(action > 0) {
                    Debug.Log("action:"+action);
                    bool go = true;
                    float turnAngle = 0;
                    if(action == 1) {
                        //LIKE 
                    }else if(action == 2) {
                        //OK
                        go = true;
                    } else if(action == 3) {
                        //STOP
                        go = false;
                    } else if(action == 4) {
                        //YES
                        turnAngle = 10; //turn right
                    } else if (action == 5) {
                        //SIX
                        turnAngle = -10; //turn left
                    } else {
                        //OTHER
                        //经常会错判为OTHER手势，为保证游戏连续性，我们不管它。
                    }
                    
                    // Input.Accelerate = go;
                    // Input.Brake = !go;
                    // Input.TurnInput = turnAngle;
                }
                msg = "";
            }
        }
        
    }

最终展示结果如下：
title=