摘要 · 看点
在本届ICCV会议上，南洋理工大学S-Lab团队与商汤科技研究团队联手推出了DeformToon3D——一个高效的3D人脸风格化框架，能够支持多达10种独特的风格化效果，包括迪士尼、皮克斯、漫画和《灌篮高手》等，同时支持高分辨率输出。
该框架无需像以往方法针对单一风格进行微调，并且可以在3D GAN隐空间实现自由的编辑和驱动，提供超友好的可用性和可扩展性，为visual AIGC的落地提供更多选择。
论文名称：DeformToon3D: Deformable 3D Toonification from Neural Radiance Fields
问题和挑战
3D风格化是一个具有挑战性的问题，涉及将艺术/卡通域的几何和纹理转移到目标人脸上。虽然常见的方法对预训练的GAN进行微调可以产生不错的效果，但这种策略在3D领域存在局限性。特别是，微调可能破坏原始的GAN隐空间，影响后续的语义编辑。
此外，微调一个比较大的GAN生成器对于每种新风格来说都是不可避免的，这需要数小时的训练时间和额外的存储。这一限制影响了在实际应用中部署数十个细化生成器的可扩展性。
方法介绍
为了更好地保留预训练的GAN隐空间并更好地利用3D GAN生成器，我们提出了DeformToon3D，它将3D风格化分解成几何和纹理风格化这两个更易解决的子问题。
这种方法在充分保持原始的隐空间的同时，也能轻松将一个预训练3D GAN（StyleSDF [1]）拓展到多种风格。
几何风格化 - StyleField
纹理风格化 - Adaptive Style Mixing
训练
DeformToon3D无需任何真实世界的2D-3D对，可以通过现成的2D人脸风格化方法DualStyleGAN [2]生成2D real – 2D style对数据进行训练。
这类训练数据简单易得，而且能够更好地训练StyleField的形变，从而在风格化过程中更好地保留人脸的身份（identity preservation）。
实验结果和应用
多种风格的人脸风格化
卡通人脸的编辑
卡通人脸的驱动
灵活的几何与纹理风格控制
相关资料
Project pageReferences
[1] Roy Or-El, Xuan Luo, Mengyi Shan, Eli Shecht- man, Jeong Joon Park, and Ira Kemelmacher-Shlizerman. StyleSDF: High-Resolution 3D-Consistent Image and Ge- ometry Generation. In CVPR, 2022.[2] Shuai Yang, Liming Jiang, Ziwei Liu, and Chen Change Loy. Pastiche master: Exemplar-based high-resolution por- trait style transfer. In CVPR, 2022.
作者：张俊哲
文章来源：商汤学术
推荐阅读
- 操作系统级ChatGPT爆火，实测让电脑自己整理桌面，Mac/Windows/Linux都支持
- 从roofline模型看CPU矩阵乘法优化
- ICCV 2023｜小红书 4 篇入选论文亮点解读，「开集视频目标分割」获得 Oral
- LLaMa 量化部署
更多嵌入式AI干货请关注嵌入式AI专栏。欢迎添加极术小姐姐微信（id:aijishu20)加入技术交流群，请备注研究方向。
