EcomID是阿里妈妈开源的个性化图像生成方法，结合了 PuLID 和 InstantID 的优点，以获得更好的背景一致性、面部关键点控制、更真实的面部以及更高的相似度。阿里妈妈提供了提供了原生实现的 ComfyUI 节点，包括写真工作流和换脸工作流，目前工作流是基于SDXL模型。
- 插件地址：https://github.com/alimama-creative/SDXL_EcomID_ComfyUI
- 模型：https://huggingface.co/alimama-creative/SDXL-EcomID
- PuLID 的 IP-Adapter：EcomID 借鉴了 PuLID 的 ID-Encoder 和交叉注意力组件，其使用对齐损失训练而成。 故而该方法有效减少了 ID embedding 对交叉注意力部分的文本 embedding的干扰，最小化对底层模型文本到图像能力的干扰。
- InstantID 的 IdentityNet 架构：利用 200 万张美观的人像图像数据集，训练了IdentityNet，增强了关键点控制，提高了 ID 一致性和面部真实感。在训练过程中，IP-adapter 被冻结，只有 IdentityNet 被训练。面部Keypoint用作条件输入，同时面部嵌入通过交叉注意力集成到 IdentityNet 中。
注意事项
- 官方给出的展示案例使用基础模型 EcomXL 生成，目前并未释出；不过官方也表示EcomID与其他基于 SDXL 的模型也高度兼容，例如 leosams-helloworld-xl（推荐使用）、dreamshaper-xl、stable-diffusion-xl-base-1.0 等。
- 它与 SDXL Turbo/Lighting、EcomXL Inpainting ControlNet 和 EcomXL Softedge ControlNet 的兼容性非常好。
如何安装插件：
- 升级 ComfyUI 到最新版本，将此仓库下载或 git clone 到 ComfyUI/custom_nodes目录中，目前此插件尚未在ComfyUI-Manager中上架。
- EcomID 需要 insightface，您需要将其与 onnxruntime 和 onnxruntime-gpu 一起添加到您的库中。（PS：需要注意的是onnxruntime 和 onnxruntime-gpu可能会与你安装的Cuda、Pytorch版本冲突，导致插件安装失败）
- 此插件需要 ComfyUI_InstantID and PuLID_ComfyUI 这两款插件支持
- 工作流在插件examples目录下
模型：
- PuLID模型放在 ComfyUI\models\pulid\ 中
- EVA CLIP 是 EVA02-CLIP-L-14-336，会自动下载（将位于 huggingface 目录中）。
- 需要安装 facexlib 依赖项，模型在首次使用时下载
- 您还需要 InsightFace 和 AntelopeV2，解压后的模型应放在 ComfyUI\models\insightface\models\antelopev2 中
- InstantID 的 ip_adapter 模型可以从 HuggingFace 下载，并应放置在 ComfyUI\models\instantid 目录中。（请注意，该模型称为 ip_adapter，因为它基于 IPAdapter）。
- 将SDXL-EcomID模型下载后放在ComfyUI\models\controlnet目录中。
- 模型及工作流备份：https://www.123684.com/s/I1oZVv-N9bGA 提取码:Tqi7
评论0