应用篇

ComfyUI InstantID:只需一张人脸照片,快速生成不同风格的人物照片

预计阅读时间2 分钟 538 views

关于开源人像生成器InstantID,大家可查看:开源人像生成器InstantID:只需一张人脸照片,快速生成不同风格的人物照片

ComfyUI InstantID

通过此插件,大家可以在ComfyUI中运行InstantID,开发者是在英伟达A100显卡上进行的测试,本地低于12G显存的用户就不用尝试了,12G显存的用户也需要开启共享显存才可以勉强运行,不然就会爆显存。

插件地址:https://github.com/ZHO-ZHO-ZHO/ComfyUI-InstantID

安装方法:
  • 推荐使用管理器 ComfyUI Manager 安装
  • 手动安装:
cd custom_nodes
git clone https://github.com/ZHO-ZHO-ZHO/ComfyUI-InstantID.git
cd custom_nodes/ComfyUI-InstantID
pip install -r requirements.txt
重启 ComfyUI

上面是开发者推荐的两种安装方法,但目前(1月23日)此插件尚未在ComfyUI Manager上架,因此更推荐大家使用ComfyUI Manager的“通过Git URL安装”来进行安装,下载完毕后,重启ComfyUI即可。

安装完ComfyUI InstantID后,重启ComfyUI将开发者分享的工作流拖入ComfyUI工作界面,推荐大家使用V1.0 本地模型 locally工作流,这时候如果点击“添加提示词队列”就会有报错信息,大家还需要下载模型才能正常运行。

模型下载
  • 下载 InstantID/ControlNetModel 中的 config.json 和 diffusion_pytorch_model.safetensors ,将模型地址填入 📷ID ControlNet Loader 节点中(例如:ComfyUI/custom_nodes/ComfyUI-InstantID/checkpoints/controlnet)
  • 下载 InstantID/ip-adapter 中的 ip-adapter.bin ,将其地址填入 📷Ipadapter_instantid Loader 节点中(例如:ComfyUI/custom_nodes/ComfyUI-InstantID/checkpoints)
  • 下载 DIAMONIK7777/antelopev2 中的所有模型,将其放入 ComfyUI//custom_nodes/ComfyUI-InstantID/models/antelopev2 中

需要注意的是在ID ControlNet Loader和Ipadapter_instantid Loader两个节点处所粘贴的地址,需要是完整的地址,如D:\ComfyUI\custom_nodes\ComfyUI-InstantID\checkpoints

完成以上设置,点击“添加提示词队列”既可以开始图片生成,不过速度非常慢,在保持设置不变的情况下,本人电脑50步需要近30分钟才可以生成一张照片。

开发者分享的三个工作流可以在ComfyUI\custom_nodes\ComfyUI-InstantID\INSTANTID WORKFLOWS文件夹下查看。

插件工作流节点说明
  • 基础模型加载 | base model loader
    • 📷ID Base Model Loader from hub 🤗:支持从 huggingface hub 自动下载模型,输入模型名称(如:wangqixun/YamerMIX_v8)即可
    • 📷ID Base Model Loader locally:支持加载本地模型(需 SDXL 系列模型)
  • InsightFace 模型加载 | 📷InsightFace Loader
    • :支持 CUDA 和 CPU
  • ID ControlNet 模型加载 | 📷ID ControlNet Loader
    • controlnet_path:ID ControlNet 模型地址
  • Ipadapter_instantid 模型加载 | 📷Ipadapter_instantid Loader
    • Ipadapter_instantid_path:模型路径
    • filename:模型名称
  • 提示词 + 风格 | 📷ID Prompt_Styler
    • 与各种提示词(文本)输入(如肖像大师等)、styler、 Photomaker Prompt_Styler 兼容
    • prompt、negative:正负提示词
    • style_name:支持官方提供的8种风格
      • (No style)
      • Watercolor
      • Film Noir
      • Neon
      • Jungle
      • Mars
      • Vibrant Color
      • Snow
      • Line art
  • InstantID 生成 | 📷InstantID Generation
    • face_image:接入预处理图像
    • pipe:接入模型
    • insightface:接入 insightface 模型
    • positivet、negative:正负提示词
    • ip_adapter_scale:IPA 强度
    • controlnet_conditioning_scale:ID Controlnet 强度
    • step:步数,官方默认30步
    • guidance_scale:提示词相关度,一般默认为5
    • width、height:尺寸设置(需1024维度)
    • seed:种子

现阶段还是推荐大家使用官方Demo进行试玩,或者大家可以在云计算平台安装应用进行生图,等待开发者们后续对该模型进行优化后再进行本地使用。

ComfyUI InstantID

目前还有个同名可在ComfyUI上运行InstantID的项目,节点更加简单,但同样的问题就是特别占用显存,生成的效果也不如上面的插件。

GitHub地址:https://github.com/huxiuhan/ComfyUI-InstantID

以上所需软件与模型,如果无法直接下载,可从本人网盘里下载:

123网盘:https://www.123pan.com/s/I1oZVv-8UUGA.html 提取码:5Rx3

评论0

分享此文档

ComfyUI InstantID:只需一张人脸照片,快速生成不同风格的人物照片

或复制链接

文章目录
没有账号?注册  忘记密码?