URAE：基于 Flux的超高分辨率图像生成的高效解决方案

56 0

在图像生成领域，高分辨率图像的生成一直是一个极具挑战性的问题，尤其是在训练数据和计算资源有限的情况下。新加坡国立大学的研究人员推出了一种名为 URAE（Ultra-Resolution Adaptation with Ease） 的技术，探索如何在有限的资源下，将现有的开源文生图模型 Flux 适应到超高分辨率（如4K）图像生成任务中。URAE 通过优化数据和参数效率，显著降低了超高分辨率适应的难度，为高分辨率图像生成提供了一种高效且易用的解决方案。

GitHub：https://github.com/Huage001/URAE
模型：https://huggingface.co/Huage001/URAE
Demo：URAE w. FLUX1.schnell（更快）|URAE w. FLUX1.dev（更高品质）

URAE 的核心优势

1. 单易用的高质量和高分辨率生成

URAE 通过 Flux 实现高分辨率图像生成，仅需最小的代码修改即可实现。无论是开发者还是普通用户，都能轻松上手，快速生成高质量的高分辨率图像。

2. 轻松训练

URAE 使用少量来自 FLUX1.1 Pro Ultra 的合成数据来训练轻量级适配器。这种数据高效的训练方法不仅节省了时间和计算资源，还确保了模型的快速收敛。

3. 显著提升的生成质量

通过优化数据和参数效率，URAE 在 2K 和 4K 分辨率的图像生成任务中，显著提升了图像的细节和纹理质量，同时保持了与文本提示的一致性。大量实验验证，URAE 仅使用 3K 个样本和 2K 次迭代，即可实现与最先进的闭源模型（如 FLUX1.1 [Pro] Ultra）相当的 2K 生成性能，同时为 4K 分辨率生成设定了新基准。

技术细节

数据效率

URAE 通过教师模型生成合成数据，并将其与少量真实数据混合，用于训练。这种混合数据策略有助于模型在有限的真实数据下更好地学习高分辨率图像的特征。研究表明，某些教师模型生成的合成数据可以显著促进训练收敛，即使在数据稀缺的情况下也能实现高质量的生成。

参数效率

当合成数据不可用时，URAE 提出了一种参数高效的微调策略。通过调整权重矩阵的次要成分，而不是常用的低秩适配器（LoRA），URAE 在保持效率的同时获得了更好的性能。这种方法通过奇异值分解（SVD）提取权重矩阵的次要成分，并在训练过程中更新这些成分，从而在不增加过多参数的情况下提升模型性能。

分类器自由引导（CFG）的调整

对于使用引导蒸馏的模型（如 FLUX），URAE 发现，在适应阶段禁用 CFG（即将引导尺度设置为 1）是实现令人满意性能的关键。这种调整确保了模型在训练和推理阶段的一致性，从而提高了生成质量。

使用指南

硬件要求

2K 分辨率：至少需要 28GB 的 GPU 显存。推荐使用 48GB GPU 以实现 URAE 的全部功能。
4K 分辨率：推荐使用 48GB 或更高显存的 GPU，以确保流畅的训练和推理过程。

推理

2K 分辨率：使用 LoRA 适配器将 FLUX 1.dev 适配到 2K 分辨率。您可以在 inference_2k.ipynb 中尝试相应的 URAE 模型。
4K 分辨率：在 4K 阶段，使用次要成分适配器而非 LoRA。您可以在 inference_4k.ipynb 和 inference_4k_schnell.ipynb 中尝试 FLUX 1.dev 和 FLUX 1.schnell 的模型。