前言
“万物互联”是最近几年听得最多的概念，在AI时代大模型涌现的洪流之下，借助先进的大模型工具，智能硬件变得更加智能，今天，让我们一起体验聆思科技的大模型AI开发套件，探索大模型时代下智能硬件新玩法。
聆思大模型 AI 开发套件
聆思大模型 AI 开发套件（CSK6-MIX）是聆思科技围绕 CSK6 AI 芯片 设计的开发板，具备丰富的语音和图像功能以及硬件外设。这个套件默认配备了一些 AI 应用，方便用户快速搭建 AI 硬件原型并体验算法效果：
硬件概述：
- 使用 聆思 CSK6011A 芯片作为主控。
- 板载 16MB Flash 存储器。
- 集成了摄像头、麦克风、扬声器、屏幕等丰富的外设。
- 配套多模态应用示例，支持快速上手体验大模型语音交互、智能视觉等 AI 应用。
- 板载 DAPLINK 调试器，可通过 USB 连接进行烧录、调试和查看串口日志。
- 支持开发联网类应用，具备网络模组。
算法能力支持清单：
- 套件默认配套各种可开箱即用的 AI 能力，包括语音唤醒、坐姿检测、人脸识别、单词评测、物体分类等。
- 您也可以使用聆思的模型训练推理工具 LNN，将自己的算法模型部署到芯片上，构建自己的 AI 应用。
硬件外设：
- 摄像头模组：默认配套 30W 像素的摄像头模组。
- 扬声器接口：用于连接扬声器进行播音。
- 触摸显示屏：分辨率为 320x240，支持触摸操作。
- 麦克风：板载两个麦克风，用于语音相关应用的录音。
- 硬回采开关：用于控制录音链路。
- SD 存储卡插槽：用于插入存储卡。
- 网络模组调试座：用于烧录网络模组的固件和调试。
- 功能按键区：包括复位、BOOT 和自定义功能按键。
开发环境：
- 支持通过 DC 座或 Type-C 接口进行供电。
- 板载 DAPLink 调试器，支持固件烧录、代码仿真和串口查看。
开箱注意事项：
- 笔者拿到的开发板已经组装好了，如未组装需自行对照文档进行组装
- 上电，开发板支持通过 DC 座或任意 Type-C 接口进行供电，因部分电脑或 USB HUB 存在供电电流不足的问题，因此建议在条件允许的情况下优先使用 DC 供电座对开发套件进行供电。
- 看文档、看文档、看文档！
- 购买链接
主播：这么强大的开发板不得卖得飞天啊？大家猜猜看，这款开发板的市场价是多少？1999？不，不，不！999？也不对！告诉大家一个超级秘密，现在上PDD，领50券，只要238米，你就能拥有它！是的，你没听错，就是238米！
主播：这款开发板为什么如此受欢迎呢？它搭载了最新的处理器，拥有超强的运算能力，还支持多种编程语言，无论是初学者还是专业开发者，都能轻松上手。而且，它的扩展性也非常强，可以连接各种传感器和模块，让你的创意无限发挥！
主播：现在下单还有更多优惠哦！
主播：大家还等什么？快来PDD领取你的50元优惠券，238米就能拥有这款强大的开发板！赶快行动吧，机会难得，错过今天就不知道下次什么时候还有这样的优惠了！
当前领卷立省50米：
https://mr.pinduoduo.com/HPnm3nU2
聆思大模型平台
ListenAI 是一个专为大模型开发和应用部署而设计的云平台。它提供了全链路开发的功能，包括知识库问答、低代码应用编排、请求数据监测、提示词模板以及 AI 应用的部署和分享：
- 知识库问答：我们可以使用 ListenAI 构建知识库问答系统。这对于回答常见问题、提供实时信息或与用户进行对话非常有用。
- 低代码应用编排：ListenAI 允许我们通过简单的拖放操作创建应用程序。我们可以将不同的组件连接起来，构建自定义的 AI 功能。
- 请求数据监测：我们可以监控应用程序的数据请求，确保它们按预期工作。
- 提示词模板：ListenAI 提供了一些预定义的提示词模板，帮助我们更轻松地构建应用。
- 应用部署和分享：我们可以将应用部署到测试环境或生产环境，并生成 Web 应用链接，方便与他人分享。
聆思大模型平台目前处于内测阶段，我们可以注册用户并获取相关 API 密钥以开始使用。
体验案例
目前多模态开发板 SDK提供诸多案例，如语音唤醒 + 坐姿检测、人脸识别、单词评测、物体分类、大模型图片生成与设备控制、大模型智能问答与坐姿检测等等。
| demo | 能力 | 备注 |
|---|---|---|
| audio_recognition_online | 语音唤醒+大模型+坐姿检测 | 坐姿需要外接usb上位机 |
| fd | 人脸识别 | |
| lcd_csps | lcd显示+句子评测 | lcd触屏使用评测功能 |
| lcd_spd | lcd显示+坐姿检测 | |
| resnet18 | 物体识别 | |
| spd | 坐姿检测 | 需要外接usb上位机 |
| shell_xtts | 文本合成语音 | 需要外接在线串口工具 |
| hsd | 头肩识别 | |
| LLM_control | 语音唤醒+大模型意图收敛+绘图+设置屏幕颜色 |
官方仓库：https://cloud.listenai.com/CSKG962172/duomotai_ap
https://www.bilibili.com/vide...
环境搭建
虽然官方寄过来的开发板已经预装了 LLM_control 这个体验案例，但我们还想体验更多的案例，这时，我们就需要搭建环境，本文以windows为例，搭建 CSK6一键安装包和大模型AI开发套件SDK。需要提前安装 git 并下载CSK6一键安装包，在windows平台下，这两个软件都非常容易安装，不过在安装过程中请关闭杀毒软件、关闭代理。
# 检测 lisa
git --version
lisa info zep
接着安装 SDK：
# 以 1.5.0 为例
git clone --branch v1.5.0 https://cloud.listenai.com/CSKG962172/duomotai_ap.git
# 初始化SDK
cd duomotai_ap
lisa zep init-app
lisa zep update
Tips: 如报错 sdk 找不到，可能为网络问题，如有代理请关闭并重新配置sdk:
lisa zep use-sdk $Env:LISA_HOME\csk-sdk-v2 --from-git="https://cloud.listenai.com/zephyr/csk#v2.0.0"编译及烧录：以聚合应用multiapps_switch为例
Tips: multiapps_switch 需配合TF卡使用
# mcuboot 编译
lisa zep build -b csk6_duomotai_devkit -S multiapp_switch_mcuboot -p -s .sdk/bootloader/mcuboot/boot/zephyr
# 烧录
lisa zep exec cskburn -s \\.\COM3 -C 6 -b 1500000 0x000000 .\build\zephyr\zephyr.bin官方仓库中提供了多合一应用的工具，我们将duomotai_ap\tools\multiapps_switch\multiapps这个目录复制到TF卡根目录中，并将TF卡插入开发板中，上电开机就能看到多合一应用了。
基于LLM_control二次开发
官方提供的案例中，笔者最感兴趣的是 LLM_control ，这是一个调用大模型能力结合设备控制的 demo，充分体现了大模型赋能开发板的新思路。
基于已有的逻辑，如果我们拓展功能时，理论上只需添加意图落域，如查询天气、翻译等，当然，ListenAI大模型平台应用编辑基于Node-RED，拓展了许多节点，如大模型相关的、网络相关的、解析相关的。我们基于这些节点可以实现很多创意。
比如天气查询的实现，基于AIUI调用服务查询天气信息,需要在 AIUI开放平台创建应用获取APPID、APPKEY并配置到 AIUI调用节点，完善意图落域判断补充天气分支。
比如翻译功能的实现，基于提示词模板处理翻译意图，将中文翻译为英文或者将英文翻译为中文之后TTS合成之后输出。
以上新增的功能无需修改开发板代码，只需编辑编排应用即可实现。大概的实现如下：
最后我们看看在开发板上的体现吧！
https://www.bilibili.com/vide...
Tips:
- 使用自定义编排的应用请先在ListenAI平台创建产品，并在开发板配置 PRODUCT_ID 和 SECRET_ID ， 笔者直接修改的
apps\LLM_control\prj.conf这配置文件；- 要想AIUI调用成功，请先在AIUI开放平台上线应用。
