前言
多模态交互离不开硬件载体,目前国内接了大模型体验最好的开发板应该是聆思CSK6大模型开发板了,不仅官方提供了已经集成讯飞星火认知大模型的示例联网就可以使用,还通过官方公开的开发文档发现基于官方现有SDK可以自主的接入其他大模型。
由上图可见,官方当前SDK方案是把开发套件当做输入端,文字或图片内容先上传到聆思的大模型平台(LSPlatform),然后平台再根据匹配的应用策略转给后端的大模型处理。基于聆思大模型平台提供的应用编排功能,我们如果要使用其他大模型,只需要从云端更改大模型接入节点,而无需去修改硬件端。
实操接入ChatGPT
1 新建应用
登陆https://platform.listenai.com...,新建一个空应用,进入应用编排服务。
2 导入示例
1.下载工程示例,https://pan.baidu.com/s/1dVOl...
2.导入工程示例,选择chatgpt_sample.v1.json文件进行导入。
若提示“您要导入的某些节点已经存在于工作空间中。”,则选择“导入副本”即可。
3 配置参数
1.修改chatGPT子流程节点参数,双击chatGPT子流程节点,可以看到可配置的参数,这里主要需要修改API-KEY Host Model Stream等参数,修改完成后点击完成即可。
配置参数
●API-KEY:调用openai的APIKEY
●Host:国内通常无法直接openai的接口,可通过代理服务的HOST访问openai的接口
●Model:提供GPT3.5/GPT4.0可选择,可自行添加更多模型选项。
●Stream:是否流式返回
chatGPT子流程节点默认封装了访问openai的/v1/chat/completions接口,若需要调用openai其他接口则需要修改子流程节点代码。
2.修改Prompt节点提示词内容(可选),根据需要修改提示词的内容。
4 部署验证
在完成参数配置,进入完整体验之前,我们可以简单测试验证,验证是否成功调用ChatGPT。
1.部署应用,部署成功以后先关闭当前编排服务。
2.重启应用,由于导入的工程示例中导入了axios包,需要重启以确保应用依赖的包完成安装。重启完成以后重新进入编排服务。
3.测试接口,点击注入节点,会触发一次ChatGPT子流程调用,观察调试节点输出日志是否正常。
4.回到应用列表,找到并双击当前应用,在弹出的应用详情页面点击右上角分享按钮进入web对话页面。
5.在web对话面与ChatGPT进行对话。
至此,可以确认ChatGPT接入成功。如果要在硬件上验证ChatGPT的交互效果可以借助聆思官方提供的聆思CSK6大模型开发板,绑定开发板硬件的操作可以参考官方文档: https://docs2.listenai.com/x/...