Lumina-Accessory：专为 Lumina 系列模型设计的多任务指令微调框架

Lumina-Accessory 是一个专为 Lumina 系列模型设计的多任务指令微调框架，目前支持 Lumina-Image-2.0。该框架通过一系列创新设计，为图像生成和编辑任务提供了强大的支持。

• GitHub：https://github.com/Alpha-VLLM/Lumina-Accessory
• 模型：https://huggingface.co/Alpha-VLLM/Lumina-Accessory

核心功能与特点

微调代码

• 序列拼接：通过序列拼接的方式统一了各种图像到图像的任务，支持通用和特定任务的模型微调。
• 任务适配：适用于多种图像生成和编辑任务，如空间条件生成、图像修复、光照重定向、主体驱动生成和基于指令的编辑。

 指令微调的通用模型权重

• 基于 Lumina-Image-2.0 初始化：提供了强大的初始权重，支持以下任务：
  • 🖼️ 空间条件生成：根据空间条件生成高质量图像。
  • 🔧 图像修复：修复图像中的损坏或缺失部分。
  • 💡 光照重定向：调整图像中的光照方向和强度。
  • 🎨 主体驱动生成：根据主体特征生成相关图像。
  • ✏️ 基于指令的编辑：根据用户指令对图像进行编辑。

 推理代码 & Gradio 演示

• 交互式测试：提供推理代码和 Gradio 演示，用户可以交互式地测试和展示通用模型的能力。
• 实时反馈：通过 Gradio 演示，用户可以实时看到模型的生成和编辑效果。

技术亮点

自注意力机制

• DiT 自注意力机制：直接利用 DiT 中的自注意力机制，在条件和目标图像 tokens 之间进行交互，与 OminiControl、DSD、VisualCloze 等方法一致。
• 高效交互：通过自注意力机制，模型能够更高效地处理条件和目标图像之间的关系。

额外的条件处理器

• 基于 Lumina-Image-2.0 构建：引入了一个额外的条件处理器，其权重通过潜在处理器进行初始化。
• 多条件适配：类似于 OminiControl，使用不同的时间条件调制条件和目标图像 tokens，并为不同类型的条件应用不同的位置嵌入。