深圳湾 · 2021年11月10日

元宇宙面前,高通服「软」了

在过去的几十年当中,人们一直通过 2D 屏幕来完成计算功能,无论是笔记本电脑、智能手机,还是平板电脑、电视。实际上,使用 2D 媒介的历史可以追溯到几个世纪前,几百年间人们都用纸张来记录和传递信息。

现在有了 XR 技术的加持,计算已经演进到了空间计算的阶段。也就是说,传统意义上的屏幕消失了,整个世界都成了你的「主屏」,而这一转型刚刚开始。

在 2D 屏幕世界里,高通代表着顶级的核心计算能力。在 XR 的世界里,编程计算和处理需要在空间中进行。

过去,高通主要面向 OEM 设备厂商提供 XR 核心技术和特性支持。而现在,伴随着元宇宙的热潮,高通需要开发者加入到 XR 应用的开发之列。

骁龙 Spaces XR 开发者平台应运而生,并与今晚(11 月 9 日)正式推出。

骁龙 Spaces,移动应用开发者看过来

骁龙 Spaces 开发者平台具有三个特点:

1、成熟的技术和创新

骁龙 Spaces 能够为 AR 眼镜提供丰富的特性,帮助开发者成功地打造空间体验。这些特性包括:

  • 环境理解特性:空间映射与空间网格、遮挡、平面探测、物体与图像识别和追踪、本地锚点及其持久性、场景理解;
  • 具备用户理解能力的机器感知特性:定位追踪、手势识别。

其中,图像和物体识别和追踪由 Wikitude 提供支持。

%E6%8A%80%E6%9C%AF%E5%BA%94%E7%94%A8

2、开放的跨终端平台和生态系统

骁龙 Spaces 的开放性与生俱来。首先,它符合 OpenXR 标准,降低了开发者利用骁龙 Spaces 进行编程的门槛。

高通还与 Epic Games 和 Unity 在引擎方面展开合作,便于熟悉这类 3D 工具的开发者将应用迁移至骁龙 Spaces 平台。

此外,骁龙 Spaces 能够跨终端运行,OPPO、小米、联想、Motorola 和 Niantic 等厂商都已经宣布支持骁龙 Spaces 平台。

高通还与移动运营商生态系统展开合作,积极推动 AR 发展。第一批支持骁龙 Spaces 的运营商合作伙伴包括 NTT DOCOMO、T-Mobile 和德国电信。

%E5%90%88%E4%BD%9C%E4%BC%99%E4%BC%B4

3、开发者优先

骁龙 Spaces 可助力开发者构建两种类型的应用:第一类是为 AR 眼镜创建的独立 3D 应用,不依赖于手机应用;第二类为手机应用的 AR 扩展,即为现有的手机应用增加 AR 眼镜的特性,带来 2D 智能手机屏幕和 3D 现实世界之间的统一多屏体验。

骁龙 Spaces 提供稳健的资源库。第一步是为 Epic Games 虚幻引擎和 Unity 提供了 SDK 支持,让开发者能够使用熟悉的 3D 工具进行创作。

高通还推出了「骁龙 Spaces 探路者计划」,首批面向健身、桌面游戏等应用开发领域,开发者可以提前获得平台技术、项目资助、硬件开发套件和联合营销与推广支持。

%E9%AB%98%E9%80%9A%E5%85%83%E5%AE%87%E5%AE%99-%E5%BC%80%E5%8F%91%E8%80%85%E4%BC%98%E5%85%88

高通 XR 十年回顾

高通深耕 XR 技术研发已有十余年。

早在 2007 年,高通曾启动了基于智能手机的 AR 研究项目,而在 2014 年支持 ODG 推出了 AR 眼镜产品。

%E9%AB%98%E9%80%9AxODG

在芯片层面,作为早期的过渡产品,高通骁龙 820、821、835、845 都曾针对 VR/AR 设备和使用场景需要做过性能优化,在当时的多款设备中运行。

不过将手机专用芯片用作 VR/AR 设备之中,虽然能用,但也存在明显的局限。比如 VR/AR 设备需要的头手交互、眼球追踪、局部渲染功能,就很难在手机芯片上得到支持。

%E4%BA%A4%E4%BA%92

特别是在过去的三年时间里,高通持续发展 XR 生态,与设备商合力推动 AR 眼镜产品形态的发展,变轻、变薄、变得更适合日常佩戴。

2018 年,高通携手 Nreal 推出了首款与智能手机相连接的 AR 眼镜品类。

Nreal_AR_%E7%9C%BC%E9%95%9C

2019 年,AR 眼镜继续进化,具备了能够在智能眼镜和智能手机上进行分布式计算处理的能力,联想 ThinkReality A3 就是该品类的代表。

ThinkReality_A3

与此同时,高通还完成了几次 XR 相关领域的收购。

比如,收购 Hins SAS 团队和部分技术资产,及其全资子公司 Clay AIR,一家手部追踪和手势识别解决方案提供商,能够支持开发者打造具备直观、自然手部交互的交互体验。

Clay_AIR

几周前,高通完成了对 Wikitude 的收购。伴随着骁龙 Spaces 的发布,Wikitude 的两项特性将成为平台特性。同时,Wikitude 的开发者社区也转型为骁龙 Spaces 开发者社区,其中,来自 180 多个国家和地区的 15 余万名注册开发者,将利用平台新特性,推动 AR 设备的软硬件开发。

Wikitude

两代骁龙 XR 芯片持续为 OEM 设备商提供动力

在 2018 年 5 月在圣克拉拉举办的 AWE 上,高通则正式推出了针对扩展现实打造的专用芯片平台骁龙 XR1。集成了高通的异构计算架构,包括基于 ARM 的多核 CPU、向量处理器、GPU、AI 引擎。

核心特性为:

  • 视觉XR1 平台支持 60dps 4K 视频分辨率;显示处理器支持包括 OpenGL、OpenCL、Vulkan 在内的图形 API;还具备基于高级视觉处理功能的技术,如视觉惯性测距(VIO)等,在增强现实体验中的用户可以在虚拟世界中移动或与增强对象进行交互。
  • 音频:采用高通 3D 音频套件、Aqstic 音频技术和 aptX 音频、蓝牙播放功能,也可实现高保真音频体验以及始终在线的语音交互;与头部相关的传递函数(HRTF)可使用户的耳朵能够合成感觉类似在空间中特定点的双耳声音。
  • 交互:支持 3DoF、6DoF 头部跟踪和控制器功能,能够让用户在虚拟世界中自由移动。

高通还就 XR1 平台推出了 AR 眼镜参考设计 Smart Viewers,可与高通多个芯片平台相互打通。

%E9%AB%98%E9%80%9A_Smart_Views

\> 延伸阅读:高通推出首款专门用于 VR/AR 设备的芯片 XR1

在 2019 年 12 月高通骁龙技术峰会上,在发布手机旗舰芯片平台骁龙 865、中高端芯片平台 765/765G 之外,高通还发布了骁龙 XR 平台的第二款产品 XR2,这也是全球首款支持 5G 的扩展显示平台。

XR2 支持七路并行摄像头,拥有专用的计算机视觉处理器。相比 XR1,其 CPU、GPU 性能提升了 2 倍,视频带宽提升 4 倍,分辨率则提升 6 倍,AI 性能提升了 11 倍。

具体而言:

  • 视觉:支持单眼 90fps 3K 分辨率,同时也支持本地播放 120fps 4K、60fps 8K 360° 视频,视觉效果更为沉浸和逼真。
  • 声音:XR2 包含一个定制的始终在线、低功耗的 Qualcomm Hexagon DSP,支持如语音激活和情境侦测等硬件加速特性,在沉浸于数字世界的同时,也能听到物理世界的声音。
  • 交互:最高可支持 7 个并行摄像头,进行高度精确地实时追踪用户的头部、嘴唇和眼球,以及支持 26 点手部骨骼追踪。计算机视觉可提供高效的场景理解和 3D 重建,能为用户建立全新的虚拟环境。

并且有了 5G 的加持,XR2 能够做到更低时延和超高数据速率传输。

%E9%AB%98%E9%80%9A5G_XR_%E5%B9%B3%E5%8F%B0

目前,基于 XR1、XR2 平台已有包括 Oculus、HTC、爱奇艺、影创、Pico、Rokid、Nreal 等在内的 50+ 款设备发布。

%E5%90%88%E4%BD%9C%E4%BC%99%E4%BC%B4-2

湾里简评

正如前文所述,以往高通都是直接推出硬件开发平台与 OEM 硬件设备厂商合作,而此次骁龙 Spaces 的推出则打破了惯例,高通开始向软件开发者、尤其是原有 Android 手机生态的应用开发者张开怀抱。

高通的逻辑和以往任何一家试图打造通用开发者平台的厂商是一致的,即在新模式下,如果每一家 OEM 厂商都推出自己的开发平台,对于开发者而言会很困难。

通用平台将极大的推进跨平台、跨设备开发者开发或打造空间和 3D 体验。

与此同时,高通继续向 OEM 厂商提供支持,帮助他们建设 AR 应用的分发渠道。

对于现在部分 OEM 厂商推出的 AR 开发平台,高通技术公司副总裁兼 XR 业务总经理司宏国(Hugo Swart)在采访中进一步说明了骁龙 Spaces 开发平台的差异性,即骁龙 Spaces 主要是面向 AR 眼镜开发,而不仅仅是面向手机的 AR 应用开发。

据透露,骁龙 Spaces 预计将于 2022 年春季向开发者全面免费开放。

微信号:深圳湾 / shenzhenware
来源:深圳湾官网 / shenzhenware.com
版权声明:本文为深圳湾原创文章,极术社区经授权发布

推荐阅读
关注数
4189
内容数
416
深圳湾是一个地标,一个 2013 年注册的微信公众号账号,一家成长中的创业公司的名字。 深圳湾是最早也是最活跃的硬件创新媒体和社区。深圳湾致力于连接全球硬件创新者,连接硬件生态链上下游,连接跨界产品的设计、技术、生产、渠道、商业、创新。
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息