把大模型塞进手机里，壁垒是什么？
作者｜田思奇
在智能科技的浪潮中，近两年快速崛起的生成式人工智能（AI），已成为推动手机行业发展的关键力量。在5月7日的MediaTek 天玑开发者大会（MDDC 2024）中，联发科董事、总经理暨营运长陈冠州表示：“生成式AI彻底革新了终端应用的使用价值，智能终端是生成式AI普及的关键载体。”
在芯片厂商、大模型厂商、终端厂商和应用开发者的全力推动下，一个由个性化、沉浸式体验和无缝交互结合而成的明日图景，正在缓缓展开。
苹果公司CEO蒂姆·库克在5月2日表示，预计苹果“绝大多数设备”都将具备生成式AI功能，并且他对苹果在生成式AI方面的机会感到非常乐观。不出所料，5月8日的发布会上，苹果将新版iPad Pro定性为“AI设备”，还高调表示最新的M4是执行AI任务的完美芯片；
三星也在今年1月推出包含生成式AI技术的Galaxy S24系列手机。据媒体报道，四分之一Galaxy S24买家表示，AI功能是他们选择该手机的关键原因。研究机构Counterpoint称，2024 年会是生成式 AI 手机的元年。
然而这个手机行业的新兴领域还面临诸多挑战。大模型将如何实现与手机的丝滑配合？用户将如何直接感知到生成式AI手机全新的功能？行业厂商该如何与开发者和合作伙伴共建智能生态，真正改善用户的手机使用体验？
一个根本问题也没有得到妥善地解决：到底什么才算是生成式AI手机？
基于这些挑战，Counterpoint在乐观的展望中透露一丝谨慎：联发科联合Counterpoint和生态伙伴在5月7日共同发布的《生成式 AI 手机产业白皮书》中指出，2023年全年出货的11.7亿手机中，只有不足 1%的手机满足了 Counterpoint 对生成式 AI 手机定义。
但该报告还指出，到2027年，生成式 AI 手机渗透率将达到43%，存量规模会从 2023 年的百万级别增长至 2027 年的 12.3 亿部。
显然，智能手机产业链上下游都需要积极拥抱变革。在向着10亿台目标发展的跃迁过程中，身为手机芯片巨头的联发科率先给出了一套系统性的由芯片、模型、应用构成的天玑AI生态战略，让行业得以初见端侧生成式AI生态和生成式AI手机行业的未来范式。
1.端侧为什么需要生成式AI？
自从ChatGPT爆发之后，生成式AI在云侧发展如火如荼，各种新奇的AI应用层出不穷，许多让人拍案叫绝的案例对于行业影响甚广。然而，在专业用户已经凭借生成式AI实现创新时，大部分的用户还无法真正体验到生成式AI的创造力和便利。如何实现AI普惠成为了联发科等移动生态先行者重点思考的课题。
而智能手机等移动终端不仅拥有最大的用户基数，在便捷性、交互性、隐私保护以及多模态输入输出和情境感知上独具优势，让AI大模型和生成式AI应用在移动终端上落地，无疑是实现AI普惠的重要步骤。而智能手机作为当下最普及的智能终端，将会是端侧生成式AI的首要突破口。
从可以自行安装App，到物理键盘变为超大触屏，手机在短短二十多年内发生了翻天覆地的变化。生成式AI虽然带来了新的机遇，但要想抢占市场先机，还需要对技术趋势的长期跟踪与大胆跟进。
联发科较早看到了AI行业发展对手机的必然影响。早在2015-2016年，AI上一次获得广泛讨论时，联发科便开始思考端侧是不是也有机会搭上这个时代的技术洪流。2017年Transformer架构横空出世后，联发科便决定提早布局新的算法来配合尚未出现的新应用。
联发科技无线通信事业部副总经理李彦辑在近日与「甲子光年」等机构的交流中表示，这是联发科对于技术投入的决心，当时就会以比较开放的心态看待未来AI的发展。
同时，端侧生成式AI也的确拥有几大优势。联发科无线通信事业部技术规划总监李俊男认为这分别体现在“隐私保护”和“多模态”上：“用户的很多东西不想上云，但在端侧即使没有网络的时候，大模型也可以很快地回答和交互”“用户每天都把手机带在身上，它有天生的多模态优势，具有声音，影像等最自然的交互方式”。
随着融合的深入，Counterpoint 认为，生成式 AI 技术将在智能手机上孕育出一个甚至多个智能生命体（AI Agent)，成为专属于每个用户的应用入口。因此，生成式AI手机可以定义为：利用大规模、预训练的生成式AI模型，实现多模态内容生成、情境感知，并具备不断增强的类人能力。
显然，由联发科引领的生成式AI手机不仅仅是一场技术革命，更是对人机交互模式的深刻重塑，预示着智能手机将从被动响应迈向主动服务的新浪潮。
然而进入手机的大模型越大就越好吗？
更大的模型通常意味着更高的硬件成本，同时还会影响到手机的续航能力。考虑到算力、内存、发热的限制，端侧需要采取与云侧不同的发展策略，并非一味追求更大的参数规模。
联发科技无线通信事业部副总经理陈一强指出：“几个月前20亿参数的模型，已经比半年前70亿参数的模型还聪明很多，它从大变成小，而能力变得更强。我们把这样的模型搬到手机上，可能又比半年前整个AI能力提升一个等级。”他表示，在新时代刚开始的时候，用算力或具体功能去评估生成式AI手机的标准，可能不是很明确。标准定了，结果半年后就发现原来定的标准这么低，因为生成式AI的进展太快了。
因此，联发科更侧重定性的分析，并且愿意跟所有的生态厂商一起合作，让生成式AI手机的概念真正落地，通过一系列先进的硬件、软件和工具，探索更适合端侧的技术路线，把生成式AI手机所带来的体验构想变成现实，让AI普惠用户。
2.以芯片、模型、应用的天玑AI战略构建端侧AI生态
联发科所做的这些准备，已经在5月7日举行的MediaTek 天玑开发者大会（MDDC 2024）上亮相。会上，联发科公布了最新的天玑9300+旗舰5G生成式AI移动芯片。该芯片采用全大核CPU架构，率先在端侧支持AI推测解码加速技术，同时支持天玑AI LoRA Fusion 2.0技术，提供更高效和个性化的生成式AI体验。
并且天玑9300+支持前沿主流的生成式AI大模型，可为用户提供文字、图像、音乐等端侧生成式 AI 多模态创新体验。同时，还支持AI框架ExecuTorch，可加速端侧生成式AI应用的开发进程。
值得一提的是，MDDC 2024期间，为了让开发者在终端上更加高效、便捷地开发生成式AI应用，加速构建涵盖全场景的生成式AI应用生态，联发科还联合阿里云、百川智能、传音、零一万物、OPPO、荣耀、vivo、小米启动“天玑AI先锋计划”，助力开发者在搭载天玑芯片的终端设备上打造创新的用户体验。
对于具体执行规划， 李彦辑表示，先锋计划包含两部分，第一个环节和一些模型、OEM厂商合作；再者就是跟所有App开发厂商探索在硬件基础上开发新的应用。
为什么选中上文提到的这些大模型厂商作为合作伙伴？针对「甲子光年」在MDDC 2024现场提出的疑问，联发科技无线通信事业部生态发展资深总监章立回应称，在生态开放的基础上，对大模型确实会有一些衡量和考虑：
第一，我们会看大模型的主营业务或者它的场景是to B还是to C。我们还是相信生成式AI很快会进入到消费级市场，我们的业务很重要的层面也是手机业务，所以对于大模型厂商，我们对做消费者业务或者他自己本身有App或者有自己运营C端能力的大模型会更加重视。
第二，我们会考虑开源的影响力。因为开源可以更加开放地拥抱整个生态，对我们来讲，开源的大模型我们合作起来也会更加顺畅。
最重要的标准，对大模型的选择，本质上是决定于这些模型能不能在终端上发挥端侧的能力，打造创新的用户体验。
同时，对于在端侧部署大模型，大模型厂商和开发者面临的难题主要有两大类，一是运行有没有效率，耗电量多少或者速度够不够快；二是内存占用可能过高。但联发科提供的一系列解决方案允许大模型厂商和应用开发者都享有可以实际落地、方便而且快速的开发方式。
例如联发科推出的“天玑AI开发套件”包括快速高效的GenAI最佳实践、覆盖全球主流大模型的GenAI Model Hub、高效提升性能的GenAI优化技术和Neuron Studio 一站式视觉化开发环境等四大模块，为广大开发者提供“快、全、强、易”的专业开发体验，赋能终端生成式AI应用开发全流程。
目前，天玑AI开发套件已覆盖智能手机、智能汽车、物联网、个人电脑等智能终端设备，为全场景生成式AI应用开发赋能。
李俊男向「甲子光年」表示，“光是把这么大的模型，比如7B、13B的模型，装到手机这么小的设备里，就是很大的挑战，所以必须通过Neuron Studio这一套工具做好压缩，做出最佳和最小的网络结构，提供给开发者比较好的开发效率。”
「甲子光年」在大会现场注意到，Neuron Studio 为开发者独创了一套高度集成、一站式、可视化的AI应用开发工具，开发者在这一套工具内即可完成模型修改、编译、平台试运行、一键终端部署等开发工作，同时可视化界面也可以快速完成Bug定位，运行性能分析等工作，让开发端侧生成式AI应用更容易、更高效。
同时，“天玑AI开发套件”中的GenAI最佳实践已通过模型量化、模型编译和模型推理技术提高了大模型的终端部署速度，可从数周加速到一天。
此外，GenAI Model Hub可以适配行业前沿主流的大模型，为开发者高效构建生成式AI应用提供丰富的大模型资源。天玑AI开发套件还支持推测解码加速、LoRA Fusion等先进的GenAI优化技术。
章立表示，尊重开发者的需求，让联发科的所有服务向开发者的需求去靠拢，最终面向的是用户体验，这是其制胜的重要途径。
章立还强调，未来一段时间，生成式AI和芯片是强相关。（百川智能创始人）王小川讲过，做搜狗的时候从来不见芯片公司，做了大模型以后不得不见。开发者做到生成式AI的深度技术创新时，离不开芯片公司的支持。大家都在不同的层次上，保障未来创新的用户体验。
在生成式AI加速革新移动生态的大背景下，联发科与大模型厂商深度合作，并为开发者提供完善、高效的解决方案，不断地根据开发者需求做改进，表现出联发科对整个开发者生态的重视和拥抱，联发科对于引领移动生态抓住生成式AI机遇、构建新应用生态并为用户创造新价值的决心显而易见。
3.先行一步，用AI和游戏革新移动应用生态
在极度内卷的手机行业，App开发者一度陷入无所适从的境地。在既定的规则里，竞争关系和流量都已形成稳定的业态，没有太多创新机会可循。
生成式AI带来了新的机会，整个生态正在加速联动。陈一强对「甲子光年」等机构表示，从芯片的底层到系统、模型再到应用，这是一个很长的链路。所以联发科特别重视跟游戏和一些头部厂商的合作：
游戏是AI最好的实现场景，因为它是独立完整的场景，可以提供更多试错的空间，它也是一种娱乐内容，有丰富的想象空间，现在AI完全可以满足这个需求。
MDDC 2024上，联发科也公布了天玑游戏技术即星速引擎的全面升级。借助自适应技术软件开发套件和硬件光线追踪技术，星速引擎可以通过精准的性能、功耗管理、光线追踪效果优化、网络质量监测等关键技术，助力游戏开发者为用户打造画面更逼真、流畅，触控和网络响应速度更快，续航更持久的全优体验。
“之前我们对天玑游戏体验的思考方向就是对芯片能力的持续提升。而现在最根本的改变是我们开始更多地拥抱生态伙伴。我们发现游戏开发者以前不知道原来芯片可以提供这么多能力，” 陈一强表示。所以联发科正在认真倾听开发者和重要游戏厂商对芯片能力的需求，把技术面向全部的开发生态，与开发者一起开发出更好的游戏。
当然在其他细分赛道上，联发科也都会给予养分和土壤，让广大开发者通过生成式AI找到自己的创新领域，并逐步培育未来的爆款App。
目前，联发科已携手阿里云通义千问 、Cocos、Honor of Kings、虎牙直播、酷狗音乐、美图、全民K歌、RWKV、Soul、腾讯AI Lab、小红书等数十家生态伙伴共同打造了诸多体验创新的端侧生成式AI应用。
「甲子光年」在MDDC 2024现场看到，多款视频GAI特效已经借由天玑移动平台实现落地。AI歌声、AI作曲，歌词生图等端侧生成式 AI 应用也愈发成熟，这些应用将让用户深刻感受到生成式AI带来的全新交互体验，以前在电影中梦幻般的未来智能场景，正借由天玑所构建的AI应用生态向我们走来。
章立表示：“如果一个技术本身它能带来创新的用户体验，就不用担心是否会出现爆品，结果是一定会出现。”
的确，联发科以天玑移动AI生态为端侧AI技术和应用创新提供土壤，为爆款应用的出现打好了基石。我们有理由期待生成式AI手机为用户带来的体验革新。
至于如何惠及更多智能手机用户，李彦辑指出，去年底的天玑8300就是第一个轻旗舰能够支持生成式AI的移动平台，这在Redmi的手机上也已落地。不止旗舰，联发科也将持续在轻旗舰档次提供更好的AIGC的能力：
“我们想借由旗舰与轻旗舰能力的提升，以及我们提供的工具去赋能开发者，我相信未来的某一天也迟早会普及到更多的终端应用上面。”李彦辑表示。
得益于 AI 大模型的赋能，以及全面的天玑AI生态战略，智能终端和智能手机的移动生态已进入全新的发展阶段。这意味着联发科不仅推动了生成式AI技术在端侧加速落地，而且为整个智能手机行业的创新进程提供了强有力的支持。同时，联发科与生态伙伴共同定义的“生成式AI手机”为市场规划了清晰的革新路线。
特别值得关注的是，作为移动生态的引领者和主导者，联发科天玑面向开发者需求和用户体验的系统布局，预示着未来生成式AI手机将更加智能化、个性化。相信全球40亿智能手机用户，很快就能开启全新的智能生活时代。
参考资料：
《生成式 AI 手机产业白皮书》，Counterpoint
《Consumers embracing AI on their smartphones》，《Mobile Europe》
