极术小姐姐 · 4 天前

端侧 AI 生态如何做?都在安谋科技的 AI 朋友圈里了|甲子光年

image.png

从技术交叉点出发,为端侧 AI 生态“架桥铺路”。

12 月 10 日,一场聚焦于端侧 AI 的生态研讨会在上海召开。

这次研讨会汇聚了几乎整个“AI 朋友圈”:从芯片、大模型框架与工具链、大模型应用到终端手机与 ODM 企业,悉数到场,可以称得上是一个微型的 AI 生态系统。

本次活动的组局方是来自国内芯片产业链上游的核心玩家安谋科技(Arm China)。会上,安谋科技宣布了一项重要进展:携手多方合作伙伴成立了“AIPC 和 EdgeAI 联合实验室”

Image

安谋科技市场及生态副总裁梁泉在活动现场提到,2024 年被定义为“端侧 AI 元年”,在产品场景上涌现了许多早期探索,虽然杀手级 AI 应用的全面落地或许仍需时日,但端侧算力的持续提升、模型体积的缩小、功能成熟度的提高及能力的增强,共同为市场更快衍生出优质应用场景提供了必备条件。整体来看,端侧 AI 模型和算力可谓实现了“双向奔赴”。

风起于青萍之末,越是在行业发展的早期先发布局,才越能更准确地把握市场发展的脉搏。正是在这样的背景下,安谋科技发起成立了“AIPC 和 EdgeAI 联合实验室”,专注于本土 AI 生态建设、社区发展及技术运营,推动端侧 AI 创新成果落地。

此番布局端侧 AI 生态,安谋科技究竟扮演了什么角色?又将如何顺应 AI 趋势,发挥出其独特价值?

1.从移动互联网到端侧 AI,产业革新离不开“生态”

Image

谈及 Arm,就不得不提生态。2019 年,市场研究机构 Linley Group 发表的一份白皮书曾这样评价 Arm 生态的价值:“对许多 SoC 设计师而言,Arm 架构已经变得像呼吸一样熟悉。”

Arm 生态的成功离不开移动互联网的蓬勃发展。凭借过硬的技术壁垒以及一步一步构建起来的产业生态,Arm 构建了一个包含处理器架构、硬件、软件、工具与服务的完整产业链,铸就了全球最大的智能计算生态体系。

当这轮发端于生成式 AI 的人工智能浪潮接棒移动互联网,一个崭新的 AI 时代拉开帷幕时,如何积极拥抱 AI 生态,成为一个新的命题。

产业界普遍认为,AI 是一个比之前所有计算浪潮更大的市场。在 AI 领域,以 Arm 为代表的计算架构正在云、边、端全面拓展,不仅深入数据中心、自动驾驶等前沿产业,更推动包括手机、电脑、汽车、可穿戴设备、物联网设备、机器人等端侧 AI 市场快速演进。今年在台北电脑展上,Arm CEO Rene Hass 就曾预测, 2025 年底全球将有超 1000 亿台具备 AI 能力的 Arm 设备。简言之,Arm 技术阵营正持续引领这轮“智”变浪潮。

Image

从趋势来看,这一轮生成式 AI 浪潮对千行百业的影响也更胜以往,以 Arm 为代表的先进计算架构提供了很好的生态基础。但在 AI 化趋势下,无论是手机,抑或是未来的可穿戴设备、万物互联设备,无论是基础计算架构,还是上层软件和应用,都不是靠一家或几家企业能够支撑起来的。

跟移动互联网时代的生态系统逻辑类似,AI 时代也需要构建一个完整且多元的、覆盖上下游产业链的技术创新与交流平台,也就是“生态”,以此来快速推动端侧 AI 的普及与发展。

Image

2.从技术交叉点出发,为端侧 AI 生态“架桥铺路”

Image

AI 是一个新市场,无论是硬件、软件还是配套的 AI 工具,所涉及的 AI 技术都需要建立一套新的标准及解决方案,也需要整个产业链的协同发力。

对此,安谋科技针对中国本土 AI 市场需求所发起成立的人工智能平台——AIPC 和 EdgeAI 联合实验室,则是其瞄准 AI 生态建设的最新举措。该实验室于 2024 年 12 月正式成立并启动运营,并计划在 2025 年逐步落地。

会上,梁泉着重阐述了该实验室的核心定位:解决产业痛点,直奔落地场景。据他介绍,联合实验室旨在应对当下产业链所面临的共性产业需求。事实上,端侧 AI 的落地正面临着一系列亟需产业合作才能解决的痛点。

Image

安谋科技市场及生态副总裁梁泉

比如不同芯片 SoC 往往集成了 CPU、GPU 乃至 NPU 加速器等不同算力单元,但实际面对众多视觉 CV、SLM 语言模型甚至是 DiT 等新一代生成式模型时,下游厂商和开发者往往无从下手。无论是根据芯片性能参数选型,还是分析芯片支持的软件框架和模型库,都难以做出快速的选择和使用决策。

除此之外,即使在选定芯片后,将不同的 AI 能力在硬件平台上的开发也同样举步维艰。例如模型量化需要既懂 AI、也懂嵌入式软件和推理框架,甚至需要了解芯片底层驱动和硬件实现;而模型效果评估也非常困难,往往很难达到预期的模拟性能,甚至迭代升级时又需要重走一遍工序……

以上还仅仅是其中的冰山一角,却已成为阻碍端侧 AI 快速发展的关键问题。

因此,“AIPC 和 EdgeAI 联合实验室”有别于传统的研究性质实验室,它从成立之初就更侧重于工程化和产品化的实践,致力于推动 AI 场景的实际落地和创新产品研发。

具体来看,该联合实验室将从芯片和硬件、软件和算法、社区运营等三个方面重点发力。

芯片和硬件层面,该实验室将开展包括开发板合作、PoC 项目合作、硬件参考设计(SRD)等。其中,开发板合作指的是围绕不同芯片 SoC,以开发者市场为早期场景,降低 AI 功能移植难度和产品创新门槛;PoC 项目则会在各类硬件平台基础上,与下游设备厂商、推理框架提供商、大模型厂商及解决方案公司进行合作,共同探索实际应用场景;SRD 合作则是进一步联合芯片与 OEM/ODM 厂商,推动 PoC 样板的产品化,进行量产级产品方案的相关设计,并快速推向市场。

软件和算法层面,相关合作包括了多操作系统支持、WoA(Windows on Arm)兼容性验证、基于容器的边缘 AI 软件栈、原生 AI 软件栈优化和多场景适配(包括算法和模型支持)、评测体系 Benchmark 工具开发等。例如联同合作伙伴在 AIPC、边缘 AI 硬件上开展多操作系统的支持工作,或通过容器等技术进一步降低 AI 应用的开发与使用门槛,继而通过优化原生 AI 软件栈使其支持更多模型和算法,并结合不同的应用场景打造应用实例,目标是使多样化的 AI 模型可以在不同硬件平台上顺畅运行、一键部署。

当然,有了软硬协同发展的基础,社区运营也是非常关键的一环。通过 Model Zoo、开源社区、开发板及开发者生态等配套项目,该联合实验室将打造一个针对 AI 应用的展示与交流平台,覆盖全产业链,携手合作伙伴共同打造方案级应用案例,同时开展具有针对性的市场推广,面向细分市场发掘更多合作机会,持续夯实本土技术生态。

Image

为什么安谋科技能做这件事?

从本质上来看,AI 是一场技术驱动的产业革命,算法、算力与数据三者密不可分,需协同发展。安谋科技位于半导体乃至端侧 AI 产业的上游,Arm IP 和其自研 IP 产品具有需要前瞻布局的行业特性,这使得它能够从一个类似“技术交叉点”的产业定位出发,对最新技术趋势更具敏感度。而 Arm 架构有独特的端侧 AI 技术优势与生态价值,则为 AI 生态的构建打下了良好基础。

在算力层,Arm CPU 现阶段仍然是做端侧 AI 推理最主流的算力平台。以当今安卓平台来看,所有应用中有至少 70%的 AI 工作负载运行在 CPU 上。而从长线来看,NPU 则被视为是未来核心的 AI 算力载体,安谋科技自 2018 年成立伊始便着手布局自研“周易”NPU 系列,并通过不断迭代使其能够满足未来多样化的 AI 计算需求。

在软件层,为了让开发者能够快速获得开发生成式 AI 应用所需的性能、工具和软件库, Arm Kleidi 软件开发平台为移动端 AI 的落地打造了一个功能完备的“百宝箱”,特别针对 Armv9 CPU 架构指令进行优化,进而使得包括 SLM 模型在内的前沿 AI 技术通过 CPU 即可实现快速普及与应用。同时,安谋科技“周易”NPU 及其配套的开源软件平台,则为后续更多 AI 模型落地端侧 NPU 做好前期准备,支持并推动端侧 AI 的技术演进。

就像桥梁将本不相连的两条道路进行连接,安谋科技则是连接全球 Arm 生态和国内 AI 产业的重要枢纽。通过“Arm 技术授权+自研业务创新”的配合,安谋科技聚焦智能汽车、智能物联网、基础设施、移动终端等核心领域进行战略布局,为国内合作伙伴提供高质量且多元化的异构计算平台。

Image

因此,正如“周易”NPU 的命名出处《易经》中所言:“天地交而万物通,上下交而其志同”。搭建平台,做好连接,安谋科技正是扮演着这样的角色,在 Arm 技术的驱动下,为国内端侧 AI 生态发展“架桥铺路”,促进生态系统的上下游企业互通互补,共生共赢。

3. 众人拾柴火焰高,AI 生态价值几何?

Image

正如自然界的某个生态系统无法速成一样,一个成熟的产业生态构建并非一朝一夕之功。

公开信息显示,由安谋科技发起成立的人工智能平台“AIPC 和 EdgeAI 联合实验室”,在初建时几乎拉来了整个国内端侧 AI 产业圈的明星企业助阵,包括智源人工智能研究院、紫光展锐、爱芯元智、六联智能、系微软件、此芯科技、亿道数码、辉羲智能、面壁智能、零一万物、中科加禾、瑞莎计算机等十几家机构和企业,并由上海漕河泾开发区管理公司提供产业支撑。

其中,除了安谋科技以外,智源人工智能研究院也是此次合作中的关键角色。用梁泉的话来形容,双方颇为“相见恨晚”,十天内的两次碰面即已敲定了基本的合作框架。他认为,Arm 技术在全球持续普及并在国产芯片中被广泛采用,使得安谋科技拥有非常适合运作端侧 AI 生态的产业基础。这与致力于推动国内 AI 基础设施和 AI 系统发展、建设开源模型和框架生态的智源人工智能研究院非常契合。

智源人工智能研究院副院长兼总工程师林咏华在活动中也着重强调了双方的深度合作并分享了其对产业生态的深刻见解。在她看来,当前国内芯片生态普遍呈现割裂状态,迁移成本高昂,而各厂商私有且高度碎片化的软件生态,已然成为用户尝试其他 AI 硬件时面临的最大的障碍。

基于此,她提出,在构建 AI 生态的过程中,我们或许可以从历经数十年沉淀、成熟而稳定的 CPU 生态中得到一定借鉴。Arm 技术的广泛普及,以及安谋科技在 CPU、NPU 等领域的布局,能够与智源研究院的核心技术积累形成互补合力,共同为端侧 AI 生态建设添砖加瓦。

Image

智源人工智能研究院副院长兼总工程师林咏华

此外,研讨会的多位嘉宾也从各自专业视角出发,畅谈了对端侧 AI 发展趋势及生态的相关思考。例如紫光展锐执行副总裁兼市场部部长黄宇宁分享到,“手机的 AI”正朝着“AI 的手机”方向过渡,得益于 AI 大模型及 AI Agent 等技术的推动,AI 将逐步进化成一种系统级能力,进而重塑手机的整体平台性能。

除紫光展锐外,多家芯片公司也携创新技术产品和相关软硬件生态,共同加入该联合实验室。爱芯元智联合创始人、副总裁刘建伟着重介绍了爱芯元智相关产品的设计理念以及软件、模型生态构建,并表示 IPC 和智驾市场都会受益于端侧 AI 而快速发展。在此芯科技生态战略总经理周杰看来,端侧生成式 AI 作为 AI PC 的典型特征,正在推动 PC 产业的第三次革命,能够大幅提升海量 PC 应用的智能化能力。

在探讨大模型的发展趋势时,面壁智能联合创始人兼 CTO 曾国洋分享了公司的最新产品成果,并谈到大模型的知识密度正遵循摩尔定律般呈指数级增长,这意味着达到相同能力所需的模型参数将大幅减少。此外,大模型在端侧还有非常多存量算力,为扩展更多端侧应用生态提供了可能。vivo AI 规划高级总监孟祥育则提出,30 亿参数会是端侧大模型部署在手机上的理想选择,足够支持多样化的大模型应用。

Image

安谋科技 NPU 产品总监鲍敏祺则介绍了安谋科技下一代“周易”NPU 在端侧大模型方面的最新进展,并指出安谋科技通过融合 Arm CPU、GPU 等计算单元,打造了多元异构计算平台,为端侧 AI 部署提供兼具面效比和能效比的理想选择。

在刚刚结束的 2024 甲子引力年终盛典上,安谋科技入选“2024 中国 AI 算力领域最具商业潜力榜”。可以看出,在构建端侧 AI 生态这件事上,这家芯片产业链上游的头部玩家正在发挥独特的探索者与引领者的价值,推动本土 AI 产业的协同创新。

事实上,端侧 AI 生态就是一个商业版的生态系统,每个企业都在其中发挥着自己的商业潜力,共同构建一个良性循环、共赢共生的产业圈。我们有理由相信,在安谋科技与一众产业先锋的多方合力之下,AIPC 和 EdgeAI 联合实验室将为端侧 AI 生态的本土化构建按下“加速键”。

回顾现代科技史,我们不难发现,几乎每一轮重要的产业革命都伴随着旧秩序的落幕和新秩序的建立,但每一轮技术的成熟都离不开产业生态的共同发力,这既是本土产业创新的共生之道,也是提升国内 AI 竞争力的必经之路。

(封面图及未标注来源图片来源:安谋科技)

推荐阅读
关注数
23582
内容数
1033
Arm相关的技术博客,提供最新Arm技术干货,欢迎关注
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息