Walkyrie 1.3B:基于 Wan2.1 架构的轻量级文本生图模型,6GB 显存即可运行的高质量 T2I 新选择

图像模型6个月前发布 小马良
350 0

在大型扩散模型日益臃肿的今天,如何在有限硬件上获得高质量生成效果成为一大挑战。Walkyrie 1.3B 是一个从强大的 Wan2.1-T2V-1.3B(文生视频)模型衍生而来的**文生图(T2I)**模型。

通过修剪文本编码器并针对静态图像生成进行专门重训,Walkyrie 在保留 Wan2.1 卓越理解能力的同时,大幅降低了推理成本和显存占用,让 6-8GB 显存的显卡也能流畅体验高端文生图乐趣。

Walkyrie 1.3B:基于 Wan2.1 架构的轻量级文本生图模型,6GB 显存即可运行的高质量 T2I 新选择

核心亮点:轻量化与高性能的平衡

1. 极致轻量,低显存友好

  • 编码器修剪:将原始的 UMT5 文本编码器修剪至约 1B 参数,显著减少内存占用并加快推理速度。
  • 硬件门槛低:
    • 16GB+ VRAM:可运行全精度 bfloat16 模式,获得最佳画质。
    • 6-8GB VRAM:通过启用 enable_model_cpu_offload(),即可在消费级显卡上流畅运行。

2. 专为图像生成优化

  • 架构重构:不同于直接借用视频模型帧,Walkyrie 经过专门的 T2I 微调,去除了时间维度冗余,专注于空间细节与构图美感。
  • 高质量输出:推荐使用 1024×1024 分辨率,生成图像具备丰富的细节和准确的光影表现。

3. 完善的 ComfyUI 支持

  • 原生节点:提供专用的 ComfyUI 自定义节点,搜索 “Walkyrie” 即可使用。
  • 多精度支持:提供 bf16 和 fp8 两种版本权重,满足不同精度与速度需求。
  • 标准组件:兼容 AutoencoderKLWan VAE 和 FlowMatchEulerDiscreteScheduler 调度器,工作流搭建简单直观。
Walkyrie 1.3B:基于 Wan2.1 架构的轻量级文本生图模型,6GB 显存即可运行的高质量 T2I 新选择

模型技术参数

属性规格
基础架构Wan2.1-T2V-1.3B 衍生
任务类型文本到图像 (Text-to-Image)
文本编码器UMT5 (修剪至 ~1B 参数)
VAEAutoencoderKLWan
调度器FlowMatchEulerDiscreteScheduler
推荐精度bfloat16 (BF16) / float8 (FP8)
推荐分辨率1024×1024

快速开始:ComfyUI 部署指南

1. 安装插件

安装插件,并确保你的环境中安装了正确版本的 diffusers:

git clone https://github.com/kpsss34/walkyrie.git

2. 下载模型权重

从 Hugging Face 仓库 kpsss34/Walkyrie-1.3B-v1.0 下载模型文件:

  • Walkyrie_bf16.safetensors (推荐,画质最佳)
  • Walkyrie_fp8.safetensors (速度更快,显存更低)

将文件放入 ComfyUI 目录:
ComfyUI/models/checkpoints/

3. 构建工作流

  1. 启动 ComfyUI。
  2. 右键点击画布,搜索并添加 Walkyrie 相关节点(或通过官方提供的自定义节点包加载)。
  3. 加载 checkpoint,连接 VAE 和调度器。
  4. 输入提示词,设置分辨率为 1024×1024,点击生成。
Walkyrie 1.3B:基于 Wan2.1 架构的轻量级文本生图模型,6GB 显存即可运行的高质量 T2I 新选择

💡 低显存用户提示:如果在 6-8GB 显存设备上遇到 OOM(显存溢出),请在加载模型后启用 CPU Offload 功能,或尝试使用 FP8 版本权重。

未来路线图

Walkyrie 团队正在规划更多激动人心的版本:

  • Anime Style:专为动漫风格优化的版本(即将推出)。
  • Turbo:极速推理版本,旨在进一步缩短生成时间(即将推出)。
  • Walkyrie-13B:更大参数规模的旗舰版本(需社区资金支持)。
© 版权声明

相关文章