光线追踪 是一种计算机图形学技术,通过为场景中的光线路径建模,生成高品质的光照和阴影。这项技术已经问世数十年,常被用于创作非常逼真的画面。直到 2018 年,随着适用于台式电脑的光线追踪硬件加速技术的问世,在游戏中体验 实时 光线追踪才得以成为现实。最新一代的游戏主机自带硬件加速,进一步激励了游戏开发公司在内容创作中充分利用光线追踪,成就出类拔萃的视觉效果,诸如《堡垒之夜》、《我的世界》、《赛博朋克 2077》、《蜘蛛侠》、《瑞奇与叮当》等大作,不胜枚举。
根据 Newzoo 的研究,高保真移动游戏 在全球范围内呈现出快速发展的态势。高保真移动游戏 2020 年期间所贡献的利润,在中国境内的比例已经从 2016 年的 42% 快速增长至 70%, 而北美地区也经历了类似的变化,这一比例从 2016 年的 6%,成长为 2020 年的 33%。随着玩家对于复杂游戏体验的兴趣日益浓厚,开发者纷纷开始思考如何能更好地迎合受众的需求。
凡事有利就会有弊,即便硬件加速已经就位,开发者仍必须小心谨慎地在视觉效果与帧率之间保持微妙的平衡,以便能为玩家创造最具吸引力的游戏体验。尽管光线追踪技术已空前高效,但它的能耗依然非常高。
当我们开始探索将光线追踪技术应用于面向移动设备的内容时,了解画面质量、每秒帧率、以及功耗之间的平衡关系至关重要。为了屏幕巨大、电能充足的台式机和游戏机量身定制的技术,通常并不一定适合移动市场:移动设备屏幕很小,像素密度却又很高,最大程度地延长电池寿命才是吸引玩家的关键。我们还必须考虑适配于市面上各种移动设备的游戏类型;光线追踪是可以提供看起来很美妙的画面,但在不断推高移动设备性能极限的多人游戏市场中,逼真的反射和阴影效果(所要求的硬件性能)会成为激烈竞争中一个不必要的门槛么?这种技术真地会受到移动开发者社区的欢迎吗?
这些问题都有待解答,那不如就着手开始吧!我们正在努力为 Arm Mali 产品线引入光线追踪能力 -- Mali 作为世界范围内最受欢迎的移动 GPU,迄今已被游戏玩家手中数十亿部移动设备所采用。此外,在年初 Arm Vision Day 活动上的 "Future of the Arm Architecture" 讲话中,我们宣布了未来的 Mali GPU 将通过提供硬件加速,显著提升移动设备上的光线追踪渲染效率。考虑到最近发布的新一代 Mali GPU 包括 Arm Mali-G710,相较于 Arm Mali-G78,带来了 20% 的整体性能和效率提升,这将成为最新 Mali GPU 在此性能优化的基础上,所提供的又一项额外的技术进步。
在这篇文章中,我们将阐述如何与合作伙伴 腾讯 和 MediaTek 共同开发移动光线追踪内容,从而帮助开发者更好地探索光线追踪可为移动游戏带来的益处。
标准 API,出色的开发者体验
通过 Arm 技术的授权,全球各地的合作伙伴可基于 Arm 架构,针对智能手机配置进行定制与增强,从而生产各具特色的设备,覆盖由不同地区、价位和产品形态所定义的细分市场。全球共有 28 亿移动游戏玩家,移动游戏市场规模高达 907 亿美元。游戏开发公司深知,要实现收入的最大化,就必须竭尽所能地拓展目标市场的深度与广度。《Garena Free Fire》获得了巨大的成功,部分归结于该游戏占用存储空间少,下载容量小,因而能够覆盖 97.4% 的市场,并在 2020 年吸引了超过 6,660 万位用户。我们的合作伙伴 King 也指出,在他们将游戏主机平台上最受欢迎的特许经营游戏之一 古惑狼:全速冲锋! 移植到移动设备的过程中,凭借可扩展性和优化来吸引大众市场是至关重要的。Newzoo 的 最新报告 进一步印证了这一点,并概述了游戏规格如何直接影响其市场占有率以及可达目标市场的范围。
跨越设备藩篱的标准化,对于游戏开发者总是至关重要。随着 Vulkan 光线追踪扩展 在 2020 年 11 月发布,光线追踪技术的标准化终于得以落地。伴随这一 API 的标准化进程,Arm 与合作伙伴将能确保光线追踪内容可在生态系统内的大量设备之间进行高效移植。
硬件架构设计者,有必要让软件生态系统了解,如何充分发掘移动设备的潜能。Arm 十分重视这一项责任,因此我们向 Khronos 提供了 Vulkan 代码示例,开发了适用于安卓的免费性能分析工具,同时准备了大量针对图形开发者的培训。我们认识到必须引领移动光线追踪的未来发展,并通过与 MediaTek 和腾讯在该领域的深入合作,确保生态系统为这场变革的到来做好准备。
软件实现助推开创性研究
我们目前正致力于推动一项基于 Vulkan 光线追踪 API 开发的软件实现,特别专注于 光线查询 这一要素,它向移动游戏开发者提供了最为简单的一种途径,以帮助他们即刻开始在游戏中引入光线追踪效果。该软件实现已被开发为一款 Vulkan Layer ,允许开发者在运行时加载,从而为指定平台上的图形驱动程序无缝添加光线追踪功能。
以下是我们在内部开发的技术演示 Bonza 中所看到的结果:
Bonza 光线追踪技术演示(基于光线查询的阴影渲染)
在本视频中,Bonza 在搭载 Mali-G78 GPU 的设备上运行,运用光线追踪来生成所有的阴影。在室内场景中,可以注意到两个光源:来自室外的阳光(注意阳光穿过窗户后在过道上留下的阴影),以及增强了 Bonza 雕像所投下阴影的室内点光源。无人机在场景中飞过,告诉我们如何更新 加速结构,Vulkan 光线查询 API 利用这些结构,来确定特定光线将照射到哪里。这一点非常重要,因为现代游戏环境绝非静态,光线追踪的任何实际应用,都必须与先进的基于物理仿真的可破坏地形相结合,例如在《战地 5》等游戏中所见到的那样。
除了我们在动态阴影方面开展的工作之外,腾讯游戏还在寻找生成柔和阴影的高效方法,并使用光线查询来改进环境光遮蔽的表现(一种图形技术,可近似计算空间特定某一点周围的几何体,以及照射在这些几何体之上的环境光总量,从而增强场景真实感)。
腾讯游戏光线追踪技术演示(混合渲染,软阴影,环境光遮蔽,实时降噪)
腾讯游戏引擎技术副总监魏楠寄语道:“试想当人类通过视觉体验真实世界时,光照如何扮演着不可或缺的角色,实时光线追踪理所当然地被视为当代计算机图像学皇冠上的明珠。通过我们工程和美术团队的巨大付出,以及来自 MediaTek 和 Arm 的有力支持,腾讯游戏即将借由革命性的光线追踪技术开启属于高保真移动游戏的全新篇章。”
请阅读关于腾讯游戏在移动光线追踪领域最新进展的相关报道。
虽然相关技术的开发工作仍在持续进行中,目前这些演示足以让我们详细了解如何为移动设备创建优化的光线追踪内容。无论您的硬件能够如何高效地处理光线查询,这些目标都始终如一:
- 最大程度地减少为实现特定视觉效果所需的光线数量;
- 当场景中的可移动物体或被创建或破坏时,能够高效地维护加速结构。
更多相关技术细节,请观看 Arm、腾讯、MediaTek在 7 月的 GDC 2021 大会上所做的演讲,其间,我们描述了软件仿真层上的工作,以及移动光线追踪开发的最佳实践。
此次 GDC 2021 展会上,许多为 PC 与主机开发的游戏作品纷纷现身移动平台。大型工作室总是力求为所有平台带来统一的用户体验,包括相互媲美的视觉画面。自 2018 年以来,光线追踪提供了一种实时生成精准照明效果的新方法,从而得到了越来越广泛的应用。
为了进一步帮助光线追踪生态系统的成长,并促进该技术的广泛应用,MediaTek 面向开发者推出了光线追踪软件开发工具包 (RTSDK),旨在促进光线追踪在手机游戏中的应用。得益于强大的 天玑 (Dimensity) 5G 芯片 在全球数以百万计智能手机中的普及,开发者正面对着一个庞大的群体,这些幸运的用户随时可以在照明、反射和折射效果等诸多方面拥有焕然一新的游戏内视觉体验。
MediaTek RTSDK 完全兼容 Khronos 集团所定义的图形学行业标准,确保 PC 开发人员能够轻松地把内容移植到移动平台。MediaTek RTSDK 铺平了创建光线追踪核心功能的坦途,包括路径追踪、基于屏幕空间触发的光线追踪阴影(规避阴影贴图混叠问题),多次反弹折射(无须进行对象排序),以及任意表面反射。
MediaTek 计算与人工智能技术群事业部协理曹友铭博士表示:“与 Arm 和腾讯的合作使我们能够将光线追踪等先进的图形技术引入到天玑系列 5G 芯片中。借助 MediaTek 的光线追踪 SDK 解决方案,游戏开发者可以利用新技术升级沉浸式游戏体验。目前,全球已有数百万台智能手机使用了天玑系列 5G 移动芯片,我们将为广泛的用户提供更生动逼真的视觉效果。”
Arm 热切期望与更多志趣相投的合作伙伴进行协作,如果您正在从事移动光线追踪相关的项目,并愿意分享最佳实践,亦或您希望与我们共同开发光线追踪内容和演示,请通过电子邮件 developer@arm.com 与我们取得联系。
我们将于今年 10 月 19 日至 21 日举行的 Arm 开发者在线峰会上进一步围绕光线追踪展开相关话题。此次大会完全免费,并将带来一系列精彩的技术演讲,涵盖 云,汽车,物联网,人工智能,高性能计算等热点领域,欢迎大家踊跃参与。在线注册地址现已公布(链接),自 10 月 6 号起,包括观看技术演说,访问 Discord 服务器,以及预定篝火谈话和虚拟讲座席位等一系列功能就将正式上线。
【英文版】原文链接