Maestro

3个月前发布 154 00

Maestro是面向创作者的一键式 AI 视频、图像和音频工作室。Maestro 将现代化的 React UI 与强大的生成后端相结合,并增加了 导演模式,使用 LLM 从单个提示词规划音乐视频和短片。针对最新的 LTX-2.3 模型和 LoRA 进行了优化,并支持几乎所有开放权重模型。

所在地:
美国
收录时间:
2026-08-07

Maestro 是一款面向创作者的本地化AI视频、图像、音频一体化工作室,核心创新在于导演模式——通过本地LLM(默认Gemma 4 4B)从单个提示词或音频轨道自动规划音乐视频/短片的全流程:分析节拍/剧本→结构化镜头分解→逐模型提示词优化→多片段生成→合成。支持MiniMax H3(含原生同步音频)、LTX-2.3、Flux 2、Wan系列等开放权重模型,内置CivitAI LoRA浏览器与AI生成的LoRA使用指南。首次启动自动检测硬件配置并调优性能参数,提供OOM恢复、实时下载状态等用户体验优化。v1.6.1新增H3 Turbo模式(6步推理+LoRA强度0.7起),v1.6.0扩展H3 Omni参考与Full 33B支持,强化角色连续性与内存效率。所有功能本地运行,NSFW内容需显式启用。

Maestro

核心能力架构:导演模式 vs 工作室模式的双轨设计

Maestro 通过两种交互范式覆盖从自动化到精细控制的全光谱需求:

导演模式(旗舰功能)

  • 输入灵活性:音频轨道(音乐视频)或文本故事(短片)
  • 三遍优化流水线:
    1. 剧本创作(高创造性LLM请求)
    2. 镜头JSON分解(结构化输出优化)
    3. 逐模型提示词润色(注入LoRA指南+模型特定约束)
  • 音乐视频专属:BPM/段落能量分析→重拍同步镜头;说话人分离+命名→多歌手/角色对齐
  • 短片专属:命名角色+对话连贯性;节奏滑块控制剪辑频率
  • 双操作模式:自动模式端到端执行;手动模式每步可审查编辑
  • 仪表板追溯:历史运行状态可视化,单片段重跑无需全量重建

工作室模式(完全手动)

  • 模型全覆盖:视频(H3/LTX/Wan/Hunyuan)、图像(Flux/Krea/Qwen)、音频(TTS/音乐/音效)
  • 高级生成技术:
    • 多片段滑动窗口(任意长度+无缝过渡)
    • 帧注入(KFI)保角色连续性
    • 视频混合模式(AI融合重叠视频)
    • 后处理(空间上采样/胶片颗粒/编解码器选择)
  • 编辑工具集:Retake(局部重生成)、Edit Anything(元素增删改)、Outpaint(画面扩展)、Repaint(SCAIL-2运动保留重绘)、Recast(多角色映射)

v1.6.x关键更新:MiniMax H3深度集成与性能突破

近期版本聚焦H3生态的完整性与可用性:

版本核心新增技术亮点
v1.6.1H3 Turbo模式6步推理+LoRA强度0.7起;不兼容组合预拦截;强度用户可调且持久化
v1.6.0H3 Omni参考有序多图/音/视频参考→身份/场景/声音条件化;Match Output消费级GPU适配;Maximum Detail高内存模式
v1.6.0Full 33B支持ConvRot加载+融合投影+流式传输;NVFP4/GGUF/INT8量化选项;Turbo LoRA真4/6/8步调度
v1.6.0导演H3增强项目级说话人映射;对话锁定防篡改;时长感知节奏;不完整计划确定性修复
v1.5.5H3原生音视频FL2VA文本/图像/首尾帧生成;32kHz立体声同步;Context-IR提示词增强;消费级GPU流式运行

H3专项优化细节

  • 提示词智能:模糊请求(如“两人讨论”)扩展为时长匹配的有意义对话;用户对话原样保留,剩余时间分配静默动作防胡言乱语
  • 内存安全:激活分块+显式工作内存预留+MMGP dtype锁定,消费级GPU可流式运行
  • 连续性保障:Recast隐藏身份预卷条件;长视频续接移除重叠保音频对齐;纵向比例不再强制16:9
  • 可靠性提升:中断作业显式标记;不相容模型/音频组合预拒绝;回归测试覆盖量化/调度/音频等关键环节

部署体验与本地化设计哲学

零配置启动

  • 首次运行自动检测GPU/显存/内存→选择配置文件/量化/VAE分块/安全系数
  • LLM自动下载llama-server(~600MB)+所选GGUF模型(默认Gemma 4 4B)
  • CUDA可用时LLM自动绑定GPU;空闲60秒自动卸载释放显存
  • OOM时横幅建议降低余量,一键应用

LoRA管理革新

  • CivitAI浏览器内搜索/筛选/一键安装
  • AI生成LoRA提示指南(基于CivitAI+HF仓库),含功能说明+示例+推荐权重
  • 更新检测+我的LoRA视图+多LoRA包自动解压
  • 权重滑块直接显示推荐范围(来自sidecars/HF/启发式)

安全与包容性

  • NSFW模式选择加入+免责声明;门控无审查模型/LoRA/服务开关
  • 实验性功能默认隐藏(外部API/VoiceRef/Inpaint等),减少新手干扰
  • 三主题家族(Golden Hour/Classic/Onyx)×深色/浅色/自动外观

工作区隔离

  • 多输出目录+侧边栏快速切换
  • 固定/收藏按工作区独立跟踪
  • 适用客户项目/NSFW-SFW/实验分离

使用边界与实操建议

适用场景

  • ✅ 音乐视频/短片批量生产(导演模式)
  • ✅ 角色一致性长视频(KFI+滑动窗口)
  • ✅ LoRA探索与微调(AI指南+权重推荐)
  • ✅ 消费级GPU本地创作(自动调优+内存安全)

已知局限

  • ❌ 导演模式依赖本地LLM质量;Gemma 4 4B在复杂剧本可能需手动修正
  • ❌ H3 Omni Maximum Detail模式需高内存系统;消费级GPU请用Match Output
  • ❌ 外部API提供商仍为实验性;生产环境建议本地LLM
  • ❌ NSFW内容生成风险自担;门控机制非绝对过滤

最佳实践

  • 首次使用先跑导演自动模式熟悉流水线,再切手动微调
  • H3生成优先用Prompt Enhance;保留原始提示词时禁用增强
  • 多LoRA叠加时参考AI指南权重;超出推荐范围需A/B测试
  • 长视频生成前验证显存余量;OOM横幅出现立即调整
  • 定期点击LoRA更新检查;过时LoRA可能兼容新版模型

相关导航