AidLux · 2月10日

阿加犀实现DeepSeek大模型端侧高效部署,加速端侧AI应用生态构建

2025年初,DeepSeek横空出世,凭借其卓越的性能表现和高成本效益迅速引发全球关注。这一开源模型的推出,不仅为端侧AI的落地应用提供了强有力的支持,更开启了大模型产业格局转型升级的新篇章。
eca205225359e34633fca1550a50e6af.jpg

然而,随着访问人数的暴增,DeepSeek一度面临服务宕机的问题,不少用户被官网“服务器繁忙,请稍后重试”的提示语拒之门外——端侧部署成为了应对DeepSeek服务稳定性挑战的关键策略之一。

日前,阿加犀已经在高通平台上成功运行DeepSeek-R1模型,以卓越的性能表现和优异的成本效益实现了该模型的端侧部署和推理。经过测试,搭载高通QCS8550的设备能够流畅运行DeepSeek-R1 1.5B和7B模型,生成速度分别达到40~45 tokens/s和10~13 tokens/s。同时,阿加犀针对DeepSeek-R1 14B模型的适配部署工作也在稳步推进中。

此外,阿加犀已搭建本地服务器实现DeepSeek模型部署,供公司内部全员使用。在使用过程中,员工无需再依赖云端服务器,从而避免了因网络波动或服务器过载导致的服务中断,能够高效完成文档处理、代码编程、内容创作等多项任务,显著提升工作效率。

阿加犀通过深度优化和适配,快速实现了DeepSeek-R1 模型在端侧设备上的高效部署与运行,为用户提供了更快、更强、更省的端侧AI体验,同时也为端侧AI应用的商用落地奠定了坚实基础。这意味着端侧大模型将有望更快速、更广泛地渗透到各类实际应用场景中,为人们的生活带来前所未有的便捷与智能。

高通CEO安蒙在高通公司2025财年第一财季财报会议上表示,当下“爆火”的DeepSeek R1对高通有利,因为高通芯片可以在本地(而不是云端)高效运行。作为高通的重要战略合作伙伴,阿加犀率先实现了DeepSeek R1模型在高通平台上的部署运行,这一成果不仅体现了阿加犀在端侧AI技术应用方面的深厚积累,同时也为行业伙伴提供了经验与参考。

未来,阿加犀将携手合作伙伴,以创新技术持续打造端侧AI应用生态。我们将深入研究更快、更小、更强大、更高效的AI模型在端侧的落地应用,为人形机器人、智能机器人、工业质检、边缘计算等领域的智能化发展赋能,为全球用户提供更可靠、更高效、更具性价比的AI解决方案!

推荐阅读
关注数
8
文章数
111
AidLux智能物联网应用开发和部署平台
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息