ComfyUI-MatAnyone:基于一致性记忆传播的稳定视频抠像节点

插件5天前发布 小马良
14 0

ComfyUI-MatAnyone 是将先进的视频抠像模型 MatAnyone 及其升级版 MatAnyoneV2 引入 ComfyUI 生态的自定义节点。它专为解决视频处理中的核心痛点——时序一致性而设计。

  • GitHub:https://github.com/FuouM/ComfyUI-MatAnyone

与传统逐帧抠像不同,MatAnyone 利用一致性记忆传播(Consistent Memory Propagation)机制,能够仅凭单帧(首帧、末帧或中间帧)的粗略遮罩,自动推算并生成整个视频序列的高精度遮罩,有效消除了闪烁和抖动,特别适用于长视频处理和复杂背景下的主体提取。

ComfyUI-MatAnyone:基于一致性记忆传播的稳定视频抠像节点

核心亮点

  • 单帧启动,全片传播:无需逐帧绘制遮罩,只需提供一帧的高质量掩码,模型即可自动跟踪主体并完成全视频抠像。
  • 时序高度稳定:基于记忆传播架构,确保前后帧之间的遮罩过渡平滑自然,彻底告别“闪烁”伪影。
  • 双模型支持
    • MatAnyone (V1):基础高效版本,适用于常规场景。
    • MatAnyoneV2:引入学习质量评估器(Learning Quality Evaluator),显著提升了在快速运动、遮挡及复杂背景下的鲁棒性和边缘细节处理能力。
  • 显存优化:支持长短期记忆管理及内部分辨率调整,可在消费级显卡上处理更高分辨率或更长的视频片段。

模型安装指南

在使用节点前,请手动下载以下模型权重文件并放置于指定目录。

1. 下载模型权重:

2. 目录结构:

将下载的 .pth 文件放入 ComfyUI 根目录下的 checkpoint 文件夹中(若不存在请新建):

ComfyUI/
└── checkpoint/
    ├── matanyone.pth
    └── matanyone2.pth

节点功能详解:MatAnyone2Video

该扩展核心节点为 MatAnyone2Video,专为运行改进后的 V2 模型设计,提供更高质量的输出。

输入参数说明

参数名类型必填默认值说明
src_videoVideo✅ 是-需要处理的源视频文件。
foreground_maskImage⚠️ 二选一-前景遮罩图像(黑白图)。若提供此项,系统将自动转换为 Mask 格式。
foreground_MASKMask⚠️ 二选一-直接输入的前景遮罩数据。至少需提供 Image 或 Mask 其中之一
mask_frameInt❌ 否0指定输入遮罩对应的帧索引。支持设置为 0 (首帧), -1 (末帧) 或任意中间帧索引。
solid_colorColor❌ 否Green可选。用于替换背景的纯色(默认绿幕),方便直接合成。
n_warmupInt❌ 否10模型预热迭代次数。增加此值可提高初始几帧的跟踪稳定性。

高级内存管理参数 (针对长视频/低显存)

参数名类型默认值说明
max_internal_sizeInt-1内部处理分辨率上限。设为 -1 使用全分辨率;设为具体数值(如 512)可降低显存占用,牺牲少量细节。
max_mem_framesInt5高分辨率工作内存中保留的关键帧数量。增加此值可提升复杂运动的跟踪精度,但会增加显存消耗。
use_long_termBooleanFalse长视频必备。启用后,系统会将较旧的帧压缩为“长期原型内存”,防止长序列处理时显存溢出(OOM)。

MatAnyoneV2 专属增强参数

参数名类型默认值说明
r_erodeInt0形态学腐蚀半径。在处理前对输入遮罩进行腐蚀操作,有助于去除遮罩边缘的噪点或多余背景,优化粗糙遮罩。
r_dilateInt0形态学膨胀半径。在处理前对输入遮罩进行膨胀操作,有助于填补前景内部的小空洞,确保主体完整。

💡 重要提示:输入的遮罩仅作为“种子”用于初始化记忆库。在预热(Warmup)阶段,模型会基于此种子生成一个优化的内部遮罩,随后该优化后的遮罩会在整个视频中进行传播。因此,最终输出结果不会直接包含您输入的原始遮罩瑕疵。

推荐工作流建议

  1. 准备遮罩:使用任何图像编辑工具(如 Photoshop, SAM, 或 ComfyUI 中的 Segment Anything 节点)在视频的第一帧(或主体最清晰的一帧)上绘制一个粗略的黑白遮罩。
  2. 连接节点:将源视频和遮罩连接到 MatAnyone2Video 节点。
  3. 参数调优
    • 对于短视频:保持默认参数即可。
    • 对于长视频显存不足:开启 use_long_term,并适当降低 max_internal_size
    • 对于边缘粗糙的遮罩:尝试设置 r_erode=1 或 r_dilate=1 进行微调。
  4. 执行与输出:运行队列,节点将输出时序稳定的 Alpha 通道遮罩或直接合成好的前景视频。

通过 ComfyUI-MatAnyone,您可以轻松在本地构建高质量的视频抠像流水线,无需昂贵的专业软件订阅,即可实现电影级的视频主体提取效果。

© 版权声明

相关文章

暂无评论

none
暂无评论...