前有DALL.E文本生成图像，现有将文字变成 3D场景。近日，苹果 AI 团队发布最新 AI 模型 GAUDI，它是基于 3D 场景的神经架构 NeRFs，可以根据文字生成 3D 室内场景。
目前为止，NeRFs 主要用做 3D 模型和 3D 场景的一种神经存储介质，然后可以从不同的相机视角进行渲染。
一、最新 AI 系统 GAUDI
如果说 NeRFs 从不同角度逼真地渲染图像的能力可以用于生成 AI 呢？
此前，OpenAI 的 DALL-E 2 或 Google 的 Imagen 和 Parti 等 AI 系统展示了 AI 将文本生成图像的潜力，但内容也仅限于 2D 图像和图形。
2021 年末时，谷歌通过 Dream Fields 首次展示了 3D AI 生成系统，将 NeRF 生成 3D 视图的能力与 OpenAI 的 CLIP 评估图像内容的能力相结合。苹果 AI 团队发布的 GAUDI 是一种能够生成沉浸式 3D 场景的神经架构，可以根据文字提示创建 3D 场景。
例如，输入“穿过走廊”或“上楼梯”，就可以看到执行这一动作的 3D 场景视频。
二、Apple GAUDI 是 3D 内饰专家
虽然谷歌致力于使用 Dream Fields 生成单个对象，但将生成 AI 扩展到完全不受约束的 3D 场景仍是一个尚未解决的问题。这背后极有可能的原因之一是摄像机位置的限制。
虽然对于单个对象，每个摄像机位置都可以映射到一个圆顶，但在 3D 场景中，这些摄像机位置会受到对象和墙壁等障碍物的限制。
对于这个问题，GAUDI 模型的解决方案是：相机姿态解码器对可能的相机位置进行预测，并确保输出是 3D 场景架构的有效位置。
场景的场景解码器预测三平面表示，这是一种 3D 画布，辐射场解码器在其上使用体积渲染方程绘制后续图像。
在对四个不同数据集（包括室内扫描数据集 ARKitScences）的实验中，研究人员表明 GAUDI 可以重建学习视图并匹配现有方法的质量。
虽然现在 GAUDI 生成的 3D 场景视频质量还不是很高，但这也说明了 AI 在图像和视频技术这生成的另一种可能。
