ComfyUI InstantID:只需一张人脸照片,快速生成不同风格的人物照片
关于开源人像生成器InstantID,大家可查看:开源人像生成器InstantID:只需一张人脸照片,快速生成不同风格的人物照片
ComfyUI InstantID
通过此插件,大家可以在ComfyUI中运行InstantID,开发者是在英伟达A100显卡上进行的测试,本地低于12G显存的用户就不用尝试了,12G显存的用户也需要开启共享显存才可以勉强运行,不然就会爆显存。
安装方法:
- 推荐使用管理器 ComfyUI Manager 安装
- 手动安装:
cd custom_nodes
git clone https://github.com/ZHO-ZHO-ZHO/ComfyUI-InstantID.git
cd custom_nodes/ComfyUI-InstantID
pip install -r requirements.txt
重启 ComfyUI
上面是开发者推荐的两种安装方法,但目前(1月23日)此插件尚未在ComfyUI Manager上架,因此更推荐大家使用ComfyUI Manager的“通过Git URL安装”来进行安装,下载完毕后,重启ComfyUI即可。
安装完ComfyUI InstantID后,重启ComfyUI将开发者分享的工作流拖入ComfyUI工作界面,推荐大家使用V1.0 本地模型 locally工作流,这时候如果点击“添加提示词队列”就会有报错信息,大家还需要下载模型才能正常运行。
模型下载
- 下载 InstantID/ControlNetModel 中的 config.json 和 diffusion_pytorch_model.safetensors ,将模型地址填入 📷ID ControlNet Loader 节点中(例如:ComfyUI/custom_nodes/ComfyUI-InstantID/checkpoints/controlnet)
- 下载 InstantID/ip-adapter 中的 ip-adapter.bin ,将其地址填入 📷Ipadapter_instantid Loader 节点中(例如:ComfyUI/custom_nodes/ComfyUI-InstantID/checkpoints)
- 下载 DIAMONIK7777/antelopev2 中的所有模型,将其放入 ComfyUI//custom_nodes/ComfyUI-InstantID/models/antelopev2 中
需要注意的是在ID ControlNet Loader和Ipadapter_instantid Loader两个节点处所粘贴的地址,需要是完整的地址,如D:\ComfyUI\custom_nodes\ComfyUI-InstantID\checkpoints
完成以上设置,点击“添加提示词队列”既可以开始图片生成,不过速度非常慢,在保持设置不变的情况下,本人电脑50步需要近30分钟才可以生成一张照片。
开发者分享的三个工作流可以在ComfyUI\custom_nodes\ComfyUI-InstantID\INSTANTID WORKFLOWS文件夹下查看。
插件工作流节点说明
- 基础模型加载 | base model loader
- 📷ID Base Model Loader from hub 🤗:支持从 huggingface hub 自动下载模型,输入模型名称(如:wangqixun/YamerMIX_v8)即可
- 📷ID Base Model Loader locally:支持加载本地模型(需 SDXL 系列模型)
- InsightFace 模型加载 | 📷InsightFace Loader
- :支持 CUDA 和 CPU
- ID ControlNet 模型加载 | 📷ID ControlNet Loader
- controlnet_path:ID ControlNet 模型地址
- Ipadapter_instantid 模型加载 | 📷Ipadapter_instantid Loader
- Ipadapter_instantid_path:模型路径
- filename:模型名称
- 提示词 + 风格 | 📷ID Prompt_Styler
- 与各种提示词(文本)输入(如肖像大师等)、styler、 Photomaker Prompt_Styler 兼容
- prompt、negative:正负提示词
- style_name:支持官方提供的8种风格
- (No style)
- Watercolor
- Film Noir
- Neon
- Jungle
- Mars
- Vibrant Color
- Snow
- Line art
- InstantID 生成 | 📷InstantID Generation
- face_image:接入预处理图像
- pipe:接入模型
- insightface:接入 insightface 模型
- positivet、negative:正负提示词
- ip_adapter_scale:IPA 强度
- controlnet_conditioning_scale:ID Controlnet 强度
- step:步数,官方默认30步
- guidance_scale:提示词相关度,一般默认为5
- width、height:尺寸设置(需1024维度)
- seed:种子
现阶段还是推荐大家使用官方Demo进行试玩,或者大家可以在云计算平台安装应用进行生图,等待开发者们后续对该模型进行优化后再进行本地使用。
ComfyUI InstantID
目前还有个同名可在ComfyUI上运行InstantID的项目,节点更加简单,但同样的问题就是特别占用显存,生成的效果也不如上面的插件。
以上所需软件与模型,如果无法直接下载,可从本人网盘里下载:
123网盘:https://www.123pan.com/s/I1oZVv-8UUGA.html 提取码:5Rx3
评论0