前言
在人工智能大模型重塑教育与社会发展的当下,无论是探索未来职业方向,还是更新技术储备,掌握大模型知识都已成为新时代的必修课。从职场上辅助工作的智能助手,到课堂用于学术研究的智能工具,大模型正在工作生活教育等领域发挥着越来越重要的作用。针对日前前来咨询的广大客户对面向大模型智能硬件的学习需求,我们根据CSK6大模型语音视觉开发板已有功能,整理了一份适合基于本开发板进行教学活动的学习课程参考给大家备用,其中基础概念大家可以通过大模型问答或互联网搜索获得。
启蒙篇
初次接触大模型硬件的学习需求,我们建议从大模型交互链路、语音处理、硬件功能等基础概念入手,可以以CSK6大模型语音视觉开发板为例,帮助大家理解大模型+智能硬件的运作逻辑。
知识点/课程名参考:
《认识“大模型”》
《大模型如何改变我们的生活?》
《大模型如何听见和看见?》
《认识接入大模型的“盒子”(开发板)》
知识点参考:
如上图所示,CSK6大模型语音交互架构可以切分为三大部分来了解,分别为:大模型集群、云服务集群、硬件交互端。在掌握大模型相关的知识和用法后,建议再学习云服务和硬件端的语音处理相关基础知识内容。只有理解了降噪、回声消除、唤醒模型、ASR、TTS等功能后,才能正确理解人机交互的整个处理流程。
实操参考:
使用模板创建云服务,并在云端界面与大模型交互,对比云与硬件端的差异,了解各自的使用场景。
相关文档:
开发套件介绍:https://docs2.listenai.com/x/...
端云链路交互协议:端云交互链路协议 | 聆思文档中心
入门篇:
当对整体交互流程有了基础认知后,基于平台提供的零代码模板,就能够快速掌握提示工程基础,学会与大模型高效 “对话”,轻松完成从 0 到 1 的知识积累。同时,也可以通过零代码模板实现个性化AI人设定制,在实操过程种学习机器人配置类型。
知识点/课程名参考:
《不同大模型的“性格特点”》
《如何指挥“大模型”干活》
《打造问答机器人》
知识点参考:
这部分需要先了解不同大模型的特点,例如长文本处理、短文本处理、深度思考等模型的优劣势;然后掌握大模型提示词的作用、通过实操认识语音技能存在的必要性和机器人人设配置的作用
实操参考:
1、切换不同的大模型,对比交互结果差异
2、更改大模型提示词,对比体验差异
3、添加/减少语音技能,思考语音技能对产品体验的影响
4、修改机器人人设,体验配置对交互体验的影响
相关文档:
接入简易配置:https://docs2.listenai.com/x/...
修改机器人人设:https://docs2.listenai.com/x/...
进阶篇
当入门部分完成后可以开始学习 RAG(检索增强生成)技术和智能体(Agent)应用。可以利用知识库模板搭建学科专属知识库;有研发能力还可以尝试自定义编排智能体完成更复杂的任务,比如接入第三方应用等。通过实操训练,把理论知识转化为实实在在的应用能力。
知识点/课程名参考:
《大模型+知识库》
《“组装”为自己服务的大模型》
《机器如何知道你在呼唤它?》
《轻松控制电风扇(或各种家电)》
知识点参考
这部分需要先了解RAG知识库出现的背景、掌握在语音交互中的调用逻辑和调优方式;然后是自定义智能体的业务处理流程和使用方法。有JSON开发基础可以理解大模型常用接口类型、学习第三方应用接入语音交互的方式。有硬件开发基础的同学可以通过实操掌握大模型语音控制流程。
实操参考
1、在云端创建学科或班级档案知识库,并对接到大模型开发板上通过语音交互调用
2、用编排模板创建智能体,并对接到大模型开发板上通过语音交互调用
3、接入第三方应用,对接到大模型开发板上通过语音交互调用
4、大模型语音控制灯
相关文档:
接入知识库:https://docs2.listenai.com/x/...
创建&接入智能体:https://docs2.listenai.com/x/...
接入扣子智能体:https://docs2.listenai.com/x/...
接入第三方大模型:https://docs2.listenai.com/x/...
通过以上系统学习,不仅能构建起全面深入的大模型知识体系,还能具备独立开发大模型应用的能力。在工作学习中可以开发出更方便的学习辅助系统,也能打造出解决实际问题的创新工具,为大家在未来的学习、工作中增添强大竞争力。
更多资料
在掌握以上知识后,还想基于CSK6大模型开发板更进一步学习智能硬件开发,可以参考以下资料:
开发板更多功能与资料下载:https://docs2.listenai.com/x/...
大模型应用上手资料汇总:https://docs2.listenai.com/x/...
智能体编排技巧:https://docs2.listenai.com/x/...
讯飞AIUI 对接:https://docs2.listenai.com/x/...
AI基础入门资料汇总:https://docs2.listenai.com/x/...