与FLUX.1 Redux竞争？InstantX Team开源基于FLUX.1-dev的IP-Adapter模型

FLUX.1-dev-IP-Adapter 是由 InstantX Team 发布的一个 IP-Adapter，最初在 Shakker 平台 上独占。然而，在 Black Forest Labs 发布了功能类似的 FLUX.1 Redux 后，InstantX Team 迅速公开了此 IP-Adapter，以便更多用户能够受益于这一技术。Shakker还推出了相对应的ComfyUI节点，大家搭配使用即可。

• 模型：https://huggingface.co/InstantX/FLUX.1-dev-IP-Adapter
• GitHub：https://github.com/Shakker-Labs/ComfyUI-IPAdapter-Flux

主要特点

模型结构：

• 新层添加：新层被添加到 38 个单块和 19 个双块中，这些新层用于增强模型的性能。
• 图像编码：使用 google/siglip-so400m-patch14-384 编码图像，该编码器以其卓越的性能而著称。
• 投影模型：采用一个简单的 2 层线性 MLPProjModel 进行投影，确保高效的计算和良好的性能。

训练配置：

• 数据集：在 10M 开源数据集上训练，确保模型能够学习到广泛的数据特征。
• 批次大小：训练批次大小为 128。
• 训练步数：总共训练了 80K 步，确保模型充分收敛并达到高性能。

图像标记数量：

• 设置为 128，这有助于模型更好地理解和处理图像中的细节。

如何使用

1. 导航到ComfyUI/custom_nodes目录
2. 克隆此仓库，路径应为ComfyUI/custom_nodes/comfyui-ipadapter-flux/，其中代表此仓库中的所有文件
3. 进入ComfyUI/custom_nodes/comfyui-ipadapter-flux/目录，并运行pip install -r requirements.txt
4. 将ipadapter权重下载到ComfyUI/models/ipadapter-flux目录
5. 安装完成后运行ComfyUI

通过手动或者ComfyUI管理器安装插件后，将ComfyUI-IPAdapter-Flux\workflows目录下的工作流拖入ComfyUI即可开始运作。