ControlNet的作者lllyasviel继推出IC-Light系列之后，再次推出了一个全新的项目——LuminaBrush。这个项目旨在为用户提供一种简单而强大的方式，在图像上绘制和调整光照效果。LuminaBrush采用了一个两阶段框架，基于Flux模型，使得光照绘制过程既直观又高效。
- GitHub：https://github.com/lllyasviel/LuminaBrush
- Demo：https://huggingface.co/spaces/lllyasviel/LuminaBrush
框架概述
LuminaBrush的核心是一个两阶段的处理流程：
第一阶段：均匀光照转换
- 目标：将输入图像转换为“均匀光照”的外观，即由均匀分布的白光光源照亮的效果。
- 方法：通过训练一个模型，该模型能够从输入图像中提取出“均匀光照”外观，避免过于锐利的网格边界或过于平坦的表面问题。这些“均匀光照”图像保留了足够的细节，如皮肤纹理、头发、毛皮等，确保后续光照效果的高质量。
第二阶段：用户引导的光照生成
- 目标：根据用户的涂鸦（例如，用笔刷在图像上绘制光照方向和强度），生成逼真的光照效果。
- 方法：用户可以通过简单的涂鸦来指导光照的方向和强度，模型会根据这些输入生成相应的光照效果。这种交互式设计使得用户可以轻松控制最终的光照结果，实现个性化的视觉效果。
两阶段方法的优势
将光照绘制问题分解为两个阶段有以下几个显著优势：
- 简化学习过程：单阶段模型可能需要考虑复杂的外部约束（如光传输一致性）来稳定模型行为，而两阶段方法通过分离任务，使得每个阶段的学习更加直接和容易。
- 提高灵活性：用户可以在“均匀光照”基础上自由绘制光照效果，而不必担心基础图像的复杂性。这使得光照绘制变得更加直观和可控。
- 增强质量：通过使用“均匀光照”作为中间表示，模型能够更好地处理细节，避免了直接从原始图像生成光照效果时可能出现的不一致问题。
数据集与训练
为了训练LuminaBrush，研究人员采用了以下步骤：
- 收集“均匀光照”图像：首先收集一组相对较小且光照相对均匀的图像。这些图像作为初始数据集，用于训练第一阶段的模型。
- 扩展数据集：使用在这些图像上训练的Flux LoRA模型生成更多的“均匀光照”图像，进一步丰富数据集。
- 合成随机法线图：通过对“均匀光照”图像应用随机法线图，模拟不同的光照条件，训练一个可以从任何输入图像中提取“均匀光照”外观的模型。
- 构建配对数据：从数百万张高质量的野外图像中提取“均匀光照”外观，构建配对数据，用于训练最终的交互式光照绘制模型。
应用与扩展
LuminaBrush的一个有趣副产品是，它可以作为一个独立的应用程序，用于“美化”图像。通过第一阶段的“均匀光照”转换，用户可以获得更加柔和、自然的图像效果。为此，开发团队还创建了一个Hugging Face空间，供感兴趣的用户试用和探索。
- Demo：https://huggingface.co/spaces/lllyasviel/lumina_brush_uniform_lit
评论0