ComfyUI-CrossViewWarp:为 IC-LoRA 打造的可视化视角变换与关键帧运镜节点

插件3个月前发布 小马良
133 0

ComfyUI-CrossViewWarp 是开发者 cseti007 为 CrossView-Warp IC-LoRA 量身定制的配套 ComfyUI 节点。它的核心任务是构建 LoRA 生成所需的深度扭曲条件:通过重投影技术,将输入视频或图像转换到新的相机视角,并用洋红色填充原始视角未覆盖的区域(即“未知区域”),从而引导模型进行合理的画面补全与生成。

  • GitHub:https://github.com/cseti007/ComfyUI-CrossViewWarp
  • 模型:https://huggingface.co/Cseti/LTX2.3-22B_IC-LoRA-CrossView-Warp

该节点最大的亮点在于其直观的 3D 轨道选择器,让用户无需手动计算复杂的相机参数,即可通过拖拽实现视角调整与关键帧动画制作。

ComfyUI-CrossViewWarp:为 IC-LoRA 打造的可视化视角变换与关键帧运镜节点

核心功能亮点

🎥 交互式 3D 轨道球体

  • 拖拽调参:内置一个围绕主体的 3D 球体界面,用户可以直接拖拽相机标记来调整方位角(Azimuth)、俯仰角(Elevation)和距离(Distance)。
  • 有效范围提示:球体上的绿色/黄色阴影直观显示了 LoRA 训练数据的有效覆盖范围(方位角 ±45°,俯仰角 +30°/−15°),帮助用户避开模型表现不佳的区域。
  • 实时预览:扭曲结果会跟随角度变化实时更新,洋红色区域清晰标示出需要模型“脑补”的内容。

🎬 关键帧相机运动

  • 右键放置关键帧:在球体上右键点击即可设置相机姿态关键帧。节点会自动在关键帧之间插值,生成平滑的相机运动路径,而非仅保持固定视角。
  • 灵活编辑:支持左键拖拽移动标记、滚轮调整距离、再次右键删除。路径以 JSON 格式存储,支持手动微调或从其他节点传入。
  • 自动适配:根据 frame_count 自动分布关键帧,或保持固定间隔,方便制作运镜视频。

⚡ 性能优化选项

  • Numba 加速:虽然默认使用纯 NumPy 保证兼容性,但安装 numba 后可通过 JIT 编译将扭曲速度提升约 10 倍。由于 numba 可能引发依赖冲突,项目未将其列入强制依赖,用户可根据环境自行选择安装。
  • 深度平滑:支持使用 opencv-contrib-python 的引导滤波进行边缘感知深度平滑,减少扭曲过程中的斑点孔洞;若无此库则回退至双边滤波。
ComfyUI-CrossViewWarp:为 IC-LoRA 打造的可视化视角变换与关键帧运镜节点

工作流集成指南

📦 前提条件

  • 最新版的 ComfyUI(支持 LTX-2)。
  • VideoHelperSuite:用于视频加载与保存。
  • 深度估计节点:提供深度图输入。
  • CrossView-Warp LoRA:从 Hugging Face 下载 Cseti/LTX2.3-22B_IC-LoRA-CrossView-Warp。
  • (可选)opencv-contrib-python 用于更优的深度平滑效果。

🔌 节点连接

  1. 输入:连接视频/图像、深度图。
  2. 调整参数:
    • azimuth/elevation/distance:保持在绿色有效区内。
    • depth_ratio:控制视差强度,默认较低以保持主体可读性。
    • pivot_override:自定义旋转枢轴点。
  3. 输出:
    • warp:连接到 IC-LoRA 的参考引导(Reference Guidance)。
    • orbit_view:可连接 PreviewImage 查看相机轨迹渲染图。

⚙️ 生成建议

  • IC-LoRA 强度:角色建议 1.3,汽车等物体建议 1.0–1.15。
  • Latent 缩放:两个 IC-LoRA 参考引导的 latent_downscale_factor 设为 1。
  • 提示词配合:当 distance > 1 或视角变化较大时,建议在文本提示中描述新揭示的内容,辅助模型理解洋红色区域的语义。

安装方法

cd ComfyUI/custom_nodes
git clone https://github.com/cseti007/ComfyUI-CrossViewWarp

重启 ComfyUI 并刷新浏览器即可使用。无需额外安装基础依赖(NumPy + PyTorch 已包含在 ComfyUI 中)。

若需加速,可手动安装 Numba:

pip install numba
© 版权声明

相关文章