超神经HyperAI · 5月31日 · 河北

在线教程 | 轻松拿捏莫奈花园、宫崎骏漫画风格,用 ComfyUI InstantID 打造百变写真

拥有高质量图像生成能力的 InstantID 一经发布,便在开源领域掀起一股热潮,不仅获得了图灵奖得主 Yann LeCun 等技术大佬的点赞,更是在 GitHub 上收获了 9.9k 的收藏,得到了工程师们的认可。

从技术的角度来看,InstantID 避免了对文生图模型 UNet 部分的训练,仅通过训练一个轻量级的可插拔模块,在推理过程中实现了无需 test-time tuning,同时保持了文本控制的灵活性,确保了面部特征的高保真度。同时,InstantID 还支持文本提示编辑, 仅需简单的文字指令,便可进行个性化定制。

上周,HyperAI超神经发布了「InstantID 个性化写真生成 Demo」教程(点击查看详细教程),该教程基于 WebUI,简单易用,功能一目了然,使用门槛低,小白可以快速上手,5 秒即可实现风格迁移。

不过,基于 WebUI 的 InstantID 很难针对生成的图片进行局部精准调整,这也是 WebUI 的特性使然,在灵活性上表现欠佳。

所以,HyperAI超神经本周上线了「ComfyUI InstantID 工作流在线教程」, 基于 ComfyUI 的模块化设计,实现了高度定制化。同时,ComfyUI 节点式的界面和工作流框架,也非常适合需要频繁修改和扩展的项目。

ComfyUI InstantID 能够赋予用户更高的自由度与更丰富的创造空间,只需调整连接节点,就能实现个性化定制, 让用户能够更加精细化地控制整个流程。

此外,该教程直接帮助用户提前下载了模型组,并在云端部署,还为用户搭建好工作流,一键即可克隆使用。这无疑很大程度上降低了 ComfyUI 的使用门槛,再也不用担心节点连接错误了!
公共教程地址:

https://go.hyper.ai/utQ0E

Demo 运行

  1. 登录 hyper.ai,在「教程」页面,选择「ComfyUI InstantID 工作流在线教程」。点击「在线运行此教程」。

  1. 页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。

  1. 点击右下角「下一步:选择算力」。

  1. 跳转后,选择「NVIDIA GeForce RTX 4090」,点击「下一步:审核」。新用户使用下方邀请链接注册,可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费时长!

HyperAI超神经专属邀请链接(直接复制到浏览器打开):https://openbayes.com/console/signup?r=6bJ0ljLFsFh_Vvej

  1. 点击「继续执行」,等待分配资源,首次克隆需等待 3-5 分钟左右的时间。当状态变为「运行中」后,点击「打开工作空间」。

若超过 10 分钟仍处于「正在分配资源」状态,可尝试停止并重启容器;若重启仍无法解决,请在官网联系平台客服。

  1. 打开工作空间后,在启动页新建一个终端会话,然后在命令行里输入以下代码启动环境,复制粘贴即可。
python ComfyUI/main.py 

  1. 当命令行出现「https://0.0.0.0:8080」后,拷贝右侧 API 地址到浏览器地址栏中,即可打开 ComfyUI 界面。请注意,用户需在实名认证后才能使用 API 地址访问功能。

效果展示

  1. 打开 API 地址后,刷新页面,将语言切换为中文。

  1. 点击「加载默认」加载 ComfyUI InstantID 工作流。

  • IP-Adapter:IP-Adapter 是 InstantID 技术中的一个组件,可识别脸部特征。它与ControlNet结合使用,以实现面部特征的精确控制和风格迁移。
  • FaceID:提高人脸一致性,使面部的特征精确度更高。
  • ControlNet:帮助判断最终生成的图片中人物脸部的位置。
  1. 在 InstantID 节点上传 1 张人像图,在 IP-Adapter 节点上传 1 张风格参考图后,点击「添加提示词队列」即可生成风格迁移后的图像。

宫崎骏漫画风格的马斯克

  1. 如果想要追求更好的效果,可以在「FaceID」节点单击右键,选择「启动该组节点」后,点击「添加提示词队列」,会生成效果更真实的风格迁移图片。

通过「FaceID」节点优化后的图像

  1. 如果想要实现将两个人物融合到同一张风格图像里的效果,点击「加载」右侧的小箭头,切换工作流「InstantID couple」。

切换工作流后,上传想要融合的两个不同人物图像,以及各自的姿势参考图像,输入 prompt 确定生成图片风格,请注意,姿势参考图像脸部的位置需要分布在左右两侧。

目前,HyperAI超神经官网已上线了数百个精选的机器学习相关教程,并整理成Jupyter Notebook的形式。

点击链接即可搜索相关教程及数据集:https://hyper.ai/tutorials

以上就是 HyperAI超神经本次分享的全部内容了,如果大家看到优质项目,欢迎后台留言推荐给我们!

推荐阅读
关注数
696
文章数
467
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息