ComfyUI-AnimaT5Free:零自定义节点,彻底移除 T5 依赖的 Anima 工作流

插件1个月前发布 小马良
119 0

ComfyUI-AnimaT5Free 是一个极简的补丁包,旨在让 Anima 视频/图像生成模型在完全不依赖 T5 文本编码器的情况下运行。通过修补 ComfyUI 内部的模型检测逻辑,它允许用户使用标准的原生节点(如 Load Diffusion Model 和 CLIPTextEncode)来加载经过特殊处理的免 T5 模型文件。

  • GitHub:https://github.com/Disya123/ComfyUI-AnimaT5Free
  • 模型:https://huggingface.co/Disya/Anima-T5-Free-Base
ComfyUI-AnimaT5Free:零自定义节点,彻底移除 T5 依赖的 Anima 工作流

这不仅大幅降低了显存占用(不再需要加载巨大的 T5-XXL),还简化了工作流,使其更加轻量和高效。

核心组件与文件结构

你需要下载以下两个核心文件并放入 ComfyUI 的对应目录中:

文件路径文件名大小用途
models/unet/anima-t5free-fused-v0.1.safetensors~3.97 GBUNet: 包含冻结的 Anima DiT 和免 T5 条件器。已移除依赖 T5 的 llm_adapter。
models/text_encoders/qwen_35_2b_base.safetensors~4.62 GB文本编码器: 基于 Qwen2.5-3B (注: 文件名虽为35_2b,实际描述指向Qwen系列) 的轻量化编码器,包含条件器、分词器和配置。
models/vae/qwen_image_vae.safetensors–VAE: 使用标准的 Qwen Image VAE 进行解码。

注意:VAE 文件通常需单独下载或从原 Anima 仓库获取,路径为 models/vae/qwen_image_vae.safetensors。

技术原理:免 T5 链路

该方案用 Qwen 替代了传统的 T5 编码器,并通过一系列轻量级模块将文本特征转换为 Anima 可用的条件信号:

  1. Qwen 抽头 (Taps):从 Qwen 模型的特定层(第 16/22 层)提取隐藏状态。
  2. d1 网格 (Grid):对提取的特征进行空间映射。
  3. C0 岭回归 (Ridge Regression):初步特征转换。
  4. C1 精炼器 (Refiner):进一步细化条件向量。
  5. 载体 (Carrier):最终输出给 UNet 的条件嵌入。
  • 负面提示处理:空负面提示 ("") 会被转换为冻结的零上下文无条件信号,无需额外的编码器计算。
  • 缓存机制:文本特征的抽头结果会缓存在 taps_cache/ 目录中。首次使用新提示词时会运行 Qwen 前向传播(耗时几秒),后续相同提示词将直接读取缓存,实现秒级响应。

标准工作流(仅使用原生节点)

你不需要安装任何额外的自定义节点,只需使用 ComfyUI 自带的节点即可构建工作流:

graph LR
    A[Load Diffusion Model<br>(anima-t5free-fused-v0.1)] --> E[KSampler]
    B[Load CLIP<br>(qwen_35_2b_base)] --> C[CLIPTextEncode<br>(Positive Prompt)]
    B --> D[CLIPTextEncode<br>(Negative Prompt: "")]
    C --> E
    D --> E
    F[EmptyCosmosLatentVideo<br>(768x768, length 1)] --> E
    G[Load VAE<br>(qwen_image_vae)] --> H[VAE Decode]
    E --> H
    H --> I[Save Image]

关键参数建议:

  • Sampler: Euler 或 Simple
  • Steps: 30
  • CFG: 5
  • Resolution: 768×768 (或其他 Anima 支持的比例)
  • Frames: 1 (单图) 或更多 (视频)

重要说明

  1. 无 T5 依赖:整个链路中没有任何 T5 模型或分词器参与,显著降低显存压力。
  2. 噪声差异:由于此构建使用的是原版 KSampler 的噪声机制,而官方示例可能使用了特定的研究运行时采样器和加盐噪声约定,因此即使使用相同的种子,生成的图像构图也会不同。但模型的质量和语义理解能力保持一致。
  3. 模型版本:这是 Anima-T5-Free-Base v0.1,属于平价级语义版本,并非最新的语义升级模型。
  4. 完整性验证:条件器部分与 Disya/Anima-T5-Free-Base 的 model.safetensors 逐位相同,可通过元数据中的 sha256 校验。

优势总结

  • 显存友好:摆脱了 T5-XXL 的沉重负担,适合显存有限的用户。
  • 部署简单:无需复杂的自定义节点环境,纯原生节点支持。
  • 推理加速:得益于缓存机制,重复提示词的生成速度极快。

对于希望体验 Anima 强大生成能力但受限于硬件资源或追求简洁工作流的开发者来说,ComfyUI-AnimaT5Free 是一个极具价值的解决方案。

© 版权声明

相关文章