最近，PyTorch 在对 ComfyUI 和 HuggingFace diffusers 上的 GGUF 模型支持方面取得了显著进展，特别是通过 torch.compile 功能实现了性能提升。在 ComfyUI 上，使用 Flux Q8_0 时，加速效果可达 30%。如果你希望体验这一改进，只需安装 PyTorch 每日构建版并升级 ComfyUI-GGUF。
对于 ComfyUI，开发者推荐使用
ComfyUI-KJNodes 插件来实现加速。该插件通常自带更好的 torch.compile 节点，例如 TorchCompileModelFluxAdvanced，能够进一步提升性能。使用加速功能
安装和升级完成后，你可以在 ComfyUI 的工作流中使用
torch.compile 节点。以下是具体步骤：- 添加
TorchCompileModelFluxAdvanced节点：在 ComfyUI 的工作流中，找到并添加TorchCompileModelFluxAdvanced节点。 - 配置节点参数：根据你的需求配置节点参数，例如选择模型和加速选项。
- 连接节点：将
TorchCompileModelFluxAdvanced节点连接到你的工作流中，确保数据流正确。 - 运行工作流：执行工作流，体验加速效果。
注意事项
- 首次运行较慢：第一次运行时，由于需要编译模型，速度可能会稍慢。但后续运行将获得持续的加速效果。
- 优化进展：开发者正在努力优化首次运行的速度，未来版本可能会进一步改进。
通过上述步骤，你可以轻松地为你的 GGUF 模型加速，提升 ComfyUI 的使用体验。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
相关文章
暂无评论...
