ComfyUI_InfiniteYou:在ComfyUI中轻松实现InfiniteYou功能,实现人脸迁移和融合

插件3天前发布 小马良
54 0

字节跳动此前发布的基于FLUX的身份保持模型InfiniteYou(InfU)引发了广泛关注。它能够根据一张人脸图像和一段文本描述,生成该人脸在不同背景、场景和状态下的照片。

相关:字节跳动推出新型框架 InfiniteYou (InfU)

越南团队ZenAI发布了非官方插件ComfyUI_InfiniteYou,让用户可以在ComfyUI中轻松实现这一神奇功能。本文将详细介绍如何安装和使用该插件,帮助你在ComfyUI中快速上手InfiniteYou。

ComfyUI_InfiniteYou:在ComfyUI中轻松实现InfiniteYou功能,实现人脸迁移和融合

模型介绍

InfiniteYou模型由主要作者发布了两个版本,每个版本都针对特定目的进行了定制:

  • sim_stage1:优先考虑更高的身份相似性,以实现更准确的面部保留。
  • aes_stage2:专注于更好的文本与图像对齐,以及增强的美学效果。

为了确保与ComfyUI无缝集成,ZenAI团队已经将模型转换为safetensors格式,方便用户安装和使用。

安装步骤

目前,ComfyUI_InfiniteYou插件尚未在ComfyUI Manager上架,需要手动安装。以下是详细步骤:

1. 下载模型文件

  •  aes_stage2_control.safetensors  sim_stage1_control_net.safetensors 文件下载后,放到 models/controlnet 目录下。
  •  models 目录下新建一个文件夹,并重命名为 InfiniteYou。将 aes_stage2_img_proj.bin  sim_stage1_img_proj.bin 文件下载后放入该文件夹。
  • 下载 antelopev2 文件,并将其放到 models/insightface/models/antelopev2 目录下。

2. 安装插件

  • 打开ComfyUI的 custom_nodes 目录。
  • 在该目录下打开终端,执行以下命令
git clone https://github.com/ZenAI-Comfy/ComfyUI_InfiniteYou
cd ComfyUI_InfiniteYou
pip install -r requirements.txt

使用方法

安装完成后,即可在ComfyUI中使用InfiniteYou功能。开发者在 workflows 文件夹下提供了四款工作流,下载后拖入ComfyUI即可直接使用。从本人测试来看,至少需要12G显存的英伟达显卡才可以使用。

ComfyUI_InfiniteYou:在ComfyUI中轻松实现InfiniteYou功能,实现人脸迁移和融合

主要功能节点

InfiniteYou Apply:用于将人脸特征应用到目标图像中,实现身份保持。
ComfyUI_InfiniteYou:在ComfyUI中轻松实现InfiniteYou功能,实现人脸迁移和融合
Face Combine:用于将不同人脸特征进行融合,生成新的合成图像。开发者给出的示例工作流是预测两人的孩子长啥样!
ComfyUI_InfiniteYou:在ComfyUI中轻松实现InfiniteYou功能,实现人脸迁移和融合

这两个节点主要实现了脸部迁移和融合功能,能够满足用户在不同场景下的需求。

© 版权声明

相关文章

暂无评论

none
暂无评论...