FLUX.1-dev-IP-Adapter 是由 InstantX Team 发布的一个 IP-Adapter，最初在 Shakker 平台 上独占。然而，在 Black Forest Labs 发布了功能类似的 FLUX.1 Redux 后，InstantX Team 迅速公开了此 IP-Adapter，以便更多用户能够受益于这一技术。Shakker还推出了相对应的ComfyUI节点，大家搭配使用即可。
- 模型：https://huggingface.co/InstantX/FLUX.1-dev-IP-Adapter
- GitHub：https://github.com/Shakker-Labs/ComfyUI-IPAdapter-Flux
主要特点
模型结构：
- 新层添加：新层被添加到 38 个单块和 19 个双块中，这些新层用于增强模型的性能。
- 图像编码：使用 google/siglip-so400m-patch14-384 编码图像，该编码器以其卓越的性能而著称。
- 投影模型：采用一个简单的 2 层线性 MLPProjModel 进行投影，确保高效的计算和良好的性能。
训练配置：
- 数据集：在 10M 开源数据集上训练，确保模型能够学习到广泛的数据特征。
- 批次大小：训练批次大小为 128。
- 训练步数：总共训练了 80K 步，确保模型充分收敛并达到高性能。
图像标记数量：
- 设置为 128，这有助于模型更好地理解和处理图像中的细节。
如何使用
- 导航到ComfyUI/custom_nodes目录
- 克隆此仓库，路径应为ComfyUI/custom_nodes/comfyui-ipadapter-flux/，其中代表此仓库中的所有文件
- 进入ComfyUI/custom_nodes/comfyui-ipadapter-flux/目录，并运行
pip install -r requirements.txt - 将ipadapter权重下载到ComfyUI/models/ipadapter-flux目录
- 安装完成后运行ComfyUI
通过手动或者ComfyUI管理器安装插件后，将ComfyUI-IPAdapter-Flux\workflows目录下的工作流拖入ComfyUI即可开始运作。
评论0