SenseNova-U1 for ComfyUI:支持 API 与本地 GGUF 推理的全能节点,集成提示词优化与交错生成,释放商汤最新模型潜力

插件6个月前发布 小马良
795 0

随着商汤科技发布 SenseNova-U1,ComfyUI 社区迎来了一款强大的新工具。SenseNova-U1 for ComfyUI 自定义节点套件不仅支持通过 API 调用云端高性能模型,更实现了完整的本地推理支持,包括对 GGUF 量化模型的兼容。

  • GitHub:https://github.com/OpenSenseNova/SenseNova-U1/tree/main/apps/comfyui

无论你是希望快速体验云端极速生成,还是倾向于在本地隐私环境中深度定制,这套节点都能满足你的需求。它还集成了智能提示词构建器和独特的交错文本/图像生成功能,为 AI 创作带来了全新的可能性。

SenseNova-U1 for ComfyUI:支持 API 与本地 GGUF 推理的全能节点,集成提示词优化与交错生成,释放商汤最新模型潜力

商汤科技发布 SenseNova-U1:基于 NEO-Unify 架构的原生多模态大模型

核心亮点:灵活、智能、高效

1. 双模推理:API 与本地无缝切换

  • 云端 API 模式:通过 SenseNova Image Generate 节点调用 U1-Fast API,享受商汤云端算力的高速生成体验。凭证通过环境变量安全管理,不暴露于工作流中。
  • 本地推理模式:使用 SenseNova U1 Local Loader 加载本地或 HuggingFace 检查点,支持 t2i_generate(文生图)、it2i_generate(图生图/编辑)和 interleave_gen(交错生成)。
  • GGUF 量化支持:原生支持加载 .gguf 格式模型,通过 diffusers 的 GGUF 量化器反量化权重,显著降低显存占用,让消费级显卡也能运行大模型。

2. 智能提示词优化 (Prompt Builder)

  • 想法转提示词:SenseNova Prompt Builder 节点能将简单的自然语言描述重写为专业、结构化的图像生成提示词,大幅提升出图质量。
  • 降低门槛:无需精通提示词工程,只需输入核心意图,AI 帮你完善细节。

3. 交错文本/图像生成 (Interleave Generation)

  • 多模态输出:SenseNova U1 Local Interleave 节点支持生成包含文本和图像交替排列的内容,适用于漫画分镜、图文混排海报等复杂场景。
  • 可视化预览:SenseNova Interleave Preview 节点专门用于渲染和展示这种有序的交错结果,直观呈现最终效果。

4. 现代化架构兼容

  • v3 节点 API:基于最新的 comfy_api.latest 构建,利用 comfy_entrypoint() 注册,确保与未来 ComfyUI 版本的长期兼容性。
  • 实用工具集:提供 SenseNova Chat、Vision URL/Image 等辅助节点,方便构建更复杂的多模态工作流。
SenseNova-U1 for ComfyUI:支持 API 与本地 GGUF 推理的全能节点,集成提示词优化与交错生成,释放商汤最新模型潜力

快速开始

1. 安装节点

从 SenseNova-U1 仓库执行安装脚本:

python apps/comfyui/install.py --comfyui /path/to/ComfyUI

这将创建符号链接到 custom_nodes 目录。

2. 安装依赖

在 ComfyUI 的 Python 环境中安装必要库:

python -m pip install -r apps/comfyui/requirements.txt

3. 配置本地环境(可选)

若需本地推理,确保安装了 SenseNova-U1 运行时:

python -m pip install -e .
export SENSENOVA_U1_SRC="/path/to/SenseNova-U1/src"

4. 配置 API(可选)

若使用云端 API,设置环境变量:

export SN_API_KEY="your-api-token"
export SN_BASE_URL="https://token.sensenova.cn/v1"

5. 加载 GGUF 模型(可选)

  1. 安装 GGUF 扩展:
    python -m pip install "gguf>=0.10.0" "diffusers>=0.30.0"
    
  2. 将 .gguf 文件放入 <comfyui>/models/gguf/ 或 <comfyui>/models/diffusion_models/。
  3. 重启 ComfyUI,在 SenseNova U1 Local Loader 中选择该文件。

⚠️ 注意事项

  • ComfyUI 版本要求:必须使用支持 v3 节点 API (comfy_api.latest) 的最新版本 ComfyUI。旧版 v1 注册方式不被支持。
  • 采样器独立性:本地 U1 生成使用内置采样循环,不直接对接 ComfyUI 的 KSampler。但生成的图像可正常接入后续后处理节点。
  • GGUF 限制:gguf_checkpoint 与 device_map 参数互斥,请根据需求二选一。
© 版权声明

相关文章