Z-Image-Turbo Student Adapter

在本地部署大型文生图模型时，显存（VRAM）往往是最大的瓶颈。Z-Image-Turbo 虽然性能强大，但其原始的 Qwen3-4B 文本编码器对显存要求较高，使得许多拥有更低显存显卡的用户望而却步。

Z-Image-Turbo Student Adapter 通过一种巧妙的文本编码器蒸馏技术，将原始的 4B 参数编码器替换为更轻量的 1.7B 学生模型加上一个微型适配器。这一改动在不改变核心生成架构（DiT 和 VAE）的前提下，成功将峰值显存占用降低了 22%，让 Z-Image-Turbo 能够轻松运行在更广泛的硬件上。

核心亮点：轻量、高效、兼容

1. 显著降低显存占用

• 峰值 VRAM 节省 4.6 GB：从原始版本的 21.35 GB 降至 16.76 GB。
• 权重 VRAM 节省 4.4 GB：从 20.70 GB 降至 16.30 GB。
• 适配主流显卡：完美适配 22GB 显存的 T4/L4 显卡，甚至让部分 16GB 显卡在特定配置下成为可能。

2. 智能蒸馏与适配器机制

• 学生模型：使用 Qwen3-1.7B（28 层，hidden_size=2048）替代原始的 Qwen3-4B（36 层，hidden_size=2560）。
• 轻量适配器：引入仅含 39M 参数的适配器（2 个 XAttn 块），通过依赖于提示的交叉注意力查询，将学生模型的隐藏状态转换为与教师模型等价的条件向量。
• 隐藏状态匹配训练：学生模型通过与原始 4B编码器的隐藏状态进行匹配训练，确保语义理解能力不大幅退化。

3. 推理速度小幅提升

• 生成时间缩短：在 T4 显卡上，生成时间从 3.9s 缩短至 3.5s，提升了约 10% 的推理效率。
• 无额外开销：DiT Transformer 和 VAE 保持不变，所有优化仅集中在文本编码阶段。

性能基准测试

以下数据基于 NVIDIA T4 (22 GB VRAM)，使用 torch.bfloat16，guidance_scale=0.0，9 个推理步骤，1024×1024 分辨率测得：

💡 结论：原始版本在 T4 上勉强运行（接近显存上限），而学生版本留有充足余量，运行更加稳定流畅。

架构原理

graph LR
    A[Prompt] --> B[Qwen3-4B Teacher]
    B --> C[Hidden States[-2]]
    C --> D[DiT Transformer]
    
    E[Prompt] --> F[Qwen3-1.7B Student]
    F --> G[Adapter]
    G --> H[Hidden States[-2]]
    H --> D

• 教师路径：原始流程，Prompt 经过 Qwen3-4B 提取特征。
• 学生路径：Prompt 经过 Qwen3-1.7B 提取特征，再通过 Adapter 映射到与教师相同的特征空间，最后输入 DiT。
• 关键点：Adapter 使用动态交叉注意力，而非静态查询，能更好地适应不同提示的语义结构。

⚠️ 局限性与注意事项

1. 视觉质量潜在差异：训练目标是匹配隐藏状态而非最终图像像素，因此生成图像的细微质感可能与原版略有不同，但整体语义一致性保持良好。
2. 显存节省仅限文本编码器：DiT (12 GB) 和 VAE (0.5 GB) 未优化。若需进一步降低显存，需结合其他技术（如量化、分块推理）。
3. 聊天模板强制要求：必须使用与训练期间一致的聊天模板格式：

   apply_chat_template(enable_thinking=True, add_generation_prompt=True)
   

4. 单提示推理：目前不支持批量处理多个不同提示的并行生成（DiT 按样本列表处理），吞吐量以单样本计。