Black Forest Labs发布了FLUX.1 Tools系列开源模型，这是一套旨在为FLUX.1模型增加控制和可操纵性的模型组合，使修改和重建真实及生成的图像成为可能。在发布时，FLUX.1 Tools包含四个独特的功能，这些功能将作为FLUX.1 [dev]模型系列中的开放访问模型，并在BFL API中作为FLUX.1 [pro]的补充：
- FLUX.1 Fill：最先进的内填充和外填充模型，能够根据文本描述和二进制蒙版编辑和扩展真实和生成的图像。
- FLUX.1 Depth：训练用于基于从输入图像和文本提示提取的深度图进行结构引导的模型。
- FLUX.1 Canny：训练用于基于从输入图像和文本提示提取的Canny边缘进行结构引导的模型。
- FLUX.1 Redux：允许混合和重建输入图像和文本提示的适配器。
此次发布强化了我们的双重承诺：为研究社区提供尖端的开放权重模型，同时通过我们的API提供一流的功能。我们在BFL API中发布每个工具作为FLUX.1 [pro]变体，并提供推理代码和权重作为经过引导蒸馏的开放访问FLUX.1 [dev]变体。此外，我们很高兴我们发布的模型将通过我们的合作伙伴fal.ai、Replicate、Together.ai、Freepik和krea.ai提供。
以下部分包含有关新模型的详细信息、性能分析以及如何访问它们。我们很期待看到充满活力的Flux生态系统将如何被我们的新工具补充。
FLUX.1 Fill的内填充和外填充
FLUX.1 Fill引入了超越现有工具（如Ideogram 2.0）和流行开源变体（如AlimamaCreative的FLUX-Controlnet-Inpainting）的高级内填充功能。它允许与现有图像自然集成的无缝编辑。
此外，FLUX.1 Fill支持外填充，使用户能够将图像扩展到原始边界之外。
我们进行了一个公开的基准测试。结果显示，Flux.1 Fill [pro]优于所有其他竞争方法，使其成为迄今为止最先进的内填充模型。第二是Flux.1 Fill [dev]，在推理效率更高的同时超越了专有解决方案。
Flux.1 Fill [dev]在Flux Dev License下提供，包括：
Flux.1 Fill [pro]可在[BFL API]中使用
FLUX.1 Canny / Depth的结构条件控制
结构条件控制使用Canny边缘或深度检测在图像转换过程中保持精确控制。通过边缘或深度图保持原始图像的结构，用户可以进行文本引导的编辑，同时保持核心构图不变。这对于图像重新纹理特别有效。
在我们的评估中（基准测试可在此处获取），FLUX.1 Depth优于Midjourney ReTexture等专有模型。特别是，FLUX.1 Depth [pro]提供更高的输出多样性，而FLUX.1 Depth的Dev版本在深度感知任务中提供更一致的结果。对于Canny边缘模型（基准测试在此），FLUX.1 Canny [pro]是同类最佳，其次是FLUX.1 Canny [dev]。
FLUX.1 Canny / Depth提供两个版本：用于最大性能的完整模型，以及基于FLUX.1 [dev]的LoRA版本，便于开发。
Flux Depth / Canny [dev]在Flux Dev License下提供，包括：
Flux.1 Depth / Canny [pro]可在BFL API中使用。
FLUX.1 Redux的图像变化和重新设计
FLUX.1 Redux是所有FLUX.1基础模型的图像变化生成适配器。给定输入图像，FLUX.1 Redux可以稍作变化地重现图像，允许对给定图像进行细化。
它自然地集成到更复杂的工作流程中，通过提示解锁图像重新设计。通过提供图像加提示，可以通过我们的API使用重新设计功能。该功能在我们最新的模型FLUX1.1 [pro] Ultra中得到支持，允许组合输入图像和文本提示，创建具有灵活纵横比的高质量4百万像素输出。
我们的基准测试表明，FLUX.1 Redux在图像变化方面达到了最先进的性能。
Flux.1 Redux [dev]在Flux Dev License下提供，包括：
支持FLUX1.1 [pro] Ultra的Flux.1 Redux可在BFL API中使用。
评论0