MiniCPM-V 2.0与参数规模更大的多模态大模型相比,也表现出优秀的成绩,不愧是业界“小钢炮”。
爱芯元智第三代高能效比智能视觉芯片AX650N。集成了八核Cortex-A55 CPU,高能效比NPU,支持8K@30fps的ISP,以及H.264、H.265编解码的 VPU。接口方面,AX650N支持64bit LPDDR4x,多路MIPI输入,千兆Ethernet、USB、以及HDMI 2.0b输出,并支持32路1080p@30fps解码内置高算力和超强编解码能力,满足行业对高性能边缘智能计算的需求。通过内置多种深度学习算法,实现视觉结构化、行为分析、状态检测等应用,高效率支持基于Transformer结构的视觉大模型和语言类大模型。提供丰富的开发文档,方便用户进行二次开发。
我们已实现“命令行”和“UI”两种示例,其中“命令行”版本已上传到网盘中,欢迎试用。
测试图片:
测试结果:
项目描述 | 输入 |
---|---|
图片大小 | 280 x 280 |
Image Encoder | 0.8s |
Input Prompt | 96 tokens |
Prefill Time | 0.4s |
Decoder | 5 tokens/s |
随着大语言模型小型化的快速发展,越来越多有趣的多模态AI应用将逐渐从云端服务迁移到边缘侧设备和端侧设备。我们会紧跟行业最新动态,适配更多的端侧大模型,欢迎大家持续关注。