ComfyUI-MochiEdit 是一套新的 ComfyUI 自定义节点，使用 Genmo Mochi 实现视频编辑。该工具包采用 RF-Inversion 启发的方法，首先将视频转换为噪声，然后使用目标提示进行重新采样以进行编辑。本文档将详细介绍如何安装和使用 ComfyUI-MochiEdit。
- ComfyUI-MochiEdit地址：https://github.com/logtd/ComfyUI-MochiEdit
- ComfyUI-MochiWrapper地址：https://github.com/kijai/ComfyUI-MochiWrapper
安装步骤
1、 安装 ComfyUI-MochiWrapper 插件
-
打开 ComfyUI Manager。 -
搜索并安装 ComfyUI-MochiWrapper插件。
2、 安装 ComfyUI-MochiEdit
-
再次打开 ComfyUI Manager。 -
搜索并安装 ComfyUI-MochiEdit插件。
3、 导入示例工作流
-
重启ComfyUI后将 example_workflows目录下的工作流文件拖入 ComfyUI 中，即可使用示例工作流。
节点介绍
反采样节点（Unsampling Nodes）
1、 Mochi Unsampler
-
功能：创建一个可以将视频转换为噪声的采样器。 -
参数： -
gamma：进行噪声校正的量。建议保留为0，因为与Mochi配合不佳。 -
seed：如果执行噪声校正，则使用随机噪声的种子。
-
2、 Mochi Prepare Sigmas
-
功能：对 MochiWrapper 中的 Mochi Sigma Schedule 节点生成的 Sigma 进行小幅更改。 -
参数：无特殊参数，主要用于准备 Sigma。
3、 SamplerCustom（MochiWrapper）
-
功能：这是 ComfyUI 的经典 KSampler 或 SamplerCustom，但适用于 MochiWrapper。 -
参数： -
positive 和 negative：应为空白提示。 -
cfg：对于反采样应始终为1.0。 -
add_noise：对于反采样应始终为 False。 -
seed：没有理由更改种子。 -
sigmas：必须先准备然后翻转。
-
采样节点（Sampling Nodes）
1、 Mochi Resampler
-
功能：创建一个可以将噪声转换为视频的采样器。 -
参数： -
latents：原始视频的潜在状态。 -
eta：生成应与原始视频对齐的强度。 -
较高值：生成更接近原始视频。 -
较低值：生成更多差异。
-
-
start_step：原始视频应引导生成的起始步骤。 -
较低值（例如0）：更紧密地跟随原始视频，但不允许放置额外的对象。 -
较高值（例如6）：允许放置新对象，但可能不会跟随原始视频，较高值可能导致不良结果（如模糊）。
-
-
end_step：停止引导生成更接近原始视频的步骤。 -
较低值：导致视频输出更多差异。
-
-
eta_trend：eta（指导强度）是否应保持恒定、增加或随着步骤进展而减少。 -
linear_decrease：大多数更改的推荐设置。
-
-
2、 SamplerCustom (MochiWrapper)
-
功能：这是 ComfyUI 的经典 KSampler 或 SamplerCustom，但适用于 MochiWrapper。 -
参数： -
positive 和 negative：可以是您喜欢的任何内容。positive 应为目标提示。 -
cfg：可以有任何适用于正常 Mochi 的 cfg（例如4.50）。 -
latents：应为反采样的潜在状态。 -
sigmas：必须准备但不要翻转。 -
seed：种子没有效果。
-
如何使用
1、 导入工作流
-
将 example_workflows目录下的工作流文件拖入 ComfyUI 中，加载示例工作流。
2、 配置反采样节点
-
使用 Mochi Unsampler节点将视频转换为噪声。 -
设置 gamma为0，选择合适的seed。
3、 准备 Sigma
-
使用 Mochi准备Sigma节点准备 Sigma。
4、 配置采样节点
-
使用 Mochi Resampler节点将噪声转换回视频。 -
调整 eta、start_step、end_step和eta_trend参数以达到所需的编辑效果。
5、 微调结果
-
使用 SamplerCustom (MochiWrapper)节点进行进一步的微调。 -
设置 positive和negative提示，调整cfg和latents参数。
通过以上步骤，您可以使用 ComfyUI-MochiEdit 进行高效的视频编辑，保持视频一致性的同时添加新元素。不过，Mochi模型对于显卡要求很高，如果你是英伟达4090用户，可以一试。
评论0