UniVidX for ComfyUI：SIGGRAPH 2026 视频本征分解神器，一键提取反照率/法线/辐照度与 Alpha 遮罩，无需绿幕

在视频后期制作与 3D 重建中，从二维视频中分离出光照、材质和几何信息一直是一项极具挑战性的任务。UniVidX，这项源自 SIGGRAPH 2026 的统一视频扩散模型技术，现已通过 UniVidX_ComfyUI 插件正式登陆 ComfyUI 生态。

• GitHub：https://github.com/dreamrec/UniVidX_ComfyUI

它不仅能将视频片段高精度分解为 RGB、反照率 (Albedo)、辐照度 (Irradi度) 和法线 (Normal) 四大本征模态，还能实现无需绿幕的 Alpha 遮罩与前景/背景分离。无论是用于电影级重新打光、VFX 合成，还是为 3D 重建提供几何约束，UniVidX 都提供了前所未有的控制力与精度。

核心亮点：全能分解、高效推理、灵活应用

1. 30 种任务模式，覆盖全场景

UniVidX 支持两大变体，共 30 种输入输出组合：

• 本征分解 (Intrinsic)：
  • 输出：反照率（去除光照的材质）、辐照度（纯光照场）、法线（表面几何方向）。
  • 应用：视频重新打光（交换辐照度通道）、3D 重建（法线+反照率作为条件）、ControlNet 风格引导。
• Alpha 分解 (Alpha)：
  • 输出：二值化 Alpha 遮罩、前景、背景（含 inpainting 修复）。
  • 应用：无需绿幕的抠像、背景替换、主体隔离。

2. FP8 量化与蒸馏加速，效率倍增

基于 Wan2.1-T2V-14B 架构，UniVidX 通过以下技术大幅降低显存占用并提升速度：

• FP8 预量化：DiT 权重转换为 fp8_e4m3fn，显存占用从 ~28GB (BF16) 降至 ~14GB，完美适配 RTX 3090/4090/5090。
• Step Distill LoRA：结合 lightx2v 蒸馏 LoRA，将推理步数从 20 步缩减至 4 步，速度提升 3.15 倍，适合快速迭代与预览。
• 性能对比：在 RTX 5090 上，生产级质量 (FP8) 处理 21 帧仅需 9.43 分钟；快速预览模式 (FP8 + Distill) 仅需 4.59 分钟。

3. 长视频分块处理，无缝拼接

针对超过 21 帧的视频，插件提供 chunked_clip_sampler.py 脚本：

• 重叠窗口：将长视频切片为重叠的 21 帧窗口。
• 线性交叉淡变：在重叠区域进行平滑融合，隐藏接缝。
• 批量输出：自动生成四种模态的 MP4 文件，便于后续合成。
• 耗时参考：1 分钟 @24fps 视频，生产级处理约需 14 小时，预览级约需 4.4 小时。

4. 策略 A 包装器，原生 ComfyUI 体验

• 黑盒封装：UniVidX 官方管道被封装为标准 ComfyUI 节点，输出 IMAGE 张量可直接连接 VHS、Alpha 合成或 3D 重建节点。
• 无需代码：通过拖拽预设工作流（如 t2RAIN_basic.json），即可轻松启动复杂分解任务。

快速开始

1. 安装插件

cd ComfyUI/custom_nodes
git clone --recurse-submodules https://github.com/dreamrec/UniVidX_ComfyUI.git
cd UniVidX_ComfyUI
python -m pip install -r requirements.txt
python install.py  # 自动创建符号链接

2. 下载模型

注意：总大小约 83 GB，请确保磁盘空间充足。

pip install -U "huggingface_hub[cli]"

# 基础模型 (Wan2.1-T2V-14B)
hf download Wan-AI/Wan2.1-T2V-14B --local-dir ComfyUI/models/wan21_t2v_14b

# UniVidX 专用权重
hf download houyuanchen/UniVidX --local-dir ComfyUI/models/unividx

# 可选：蒸馏 LoRA (用于快速模式)
hf download lightx2v/Wan2.1-T2V-14B-StepDistill-CfgDistill-Lightx2v \
    loras/Wan21_T2V_14B_lightx2v_cfg_step_distill_lora_rank64.safetensors \
    --local-dir ComfyUI/models/loras/lightx2v

3. 运行工作流

重启 ComfyUI，将 examples/t2RAIN_basic.json 拖入画布，加载视频或输入提示词，点击队列执行。

推荐配置

⚠️ 避坑指南：

• 关闭 SageAttention：在 Wan2.1-14B 上实测反而慢 33%。
• 关闭 torch.compile：图捕获开销大，无加速效果。
• Stable3DGen 冲突：若安装 ComfyUI-3D-Pack，其全局修改 SDPA 可能破坏 UniVidX。插件已内置防御性恢复代码，但若遇其他节点异常，请检查 SageAttention 全局污染。