Maestro 是一款面向创作者的本地化AI视频、图像、音频一体化工作室,核心创新在于导演模式——通过本地LLM(默认Gemma 4 4B)从单个提示词或音频轨道自动规划音乐视频/短片的全流程:分析节拍/剧本→结构化镜头分解→逐模型提示词优化→多片段生成→合成。支持MiniMax H3(含原生同步音频)、LTX-2.3、Flux 2、Wan系列等开放权重模型,内置CivitAI LoRA浏览器与AI生成的LoRA使用指南。首次启动自动检测硬件配置并调优性能参数,提供OOM恢复、实时下载状态等用户体验优化。v1.6.1新增H3 Turbo模式(6步推理+LoRA强度0.7起),v1.6.0扩展H3 Omni参考与Full 33B支持,强化角色连续性与内存效率。所有功能本地运行,NSFW内容需显式启用。

核心能力架构:导演模式 vs 工作室模式的双轨设计
Maestro 通过两种交互范式覆盖从自动化到精细控制的全光谱需求:
导演模式(旗舰功能)
- 输入灵活性:音频轨道(音乐视频)或文本故事(短片)
- 三遍优化流水线:
- 剧本创作(高创造性LLM请求)
- 镜头JSON分解(结构化输出优化)
- 逐模型提示词润色(注入LoRA指南+模型特定约束)
- 音乐视频专属:BPM/段落能量分析→重拍同步镜头;说话人分离+命名→多歌手/角色对齐
- 短片专属:命名角色+对话连贯性;节奏滑块控制剪辑频率
- 双操作模式:自动模式端到端执行;手动模式每步可审查编辑
- 仪表板追溯:历史运行状态可视化,单片段重跑无需全量重建
工作室模式(完全手动)
- 模型全覆盖:视频(H3/LTX/Wan/Hunyuan)、图像(Flux/Krea/Qwen)、音频(TTS/音乐/音效)
- 高级生成技术:
- 多片段滑动窗口(任意长度+无缝过渡)
- 帧注入(KFI)保角色连续性
- 视频混合模式(AI融合重叠视频)
- 后处理(空间上采样/胶片颗粒/编解码器选择)
- 编辑工具集:Retake(局部重生成)、Edit Anything(元素增删改)、Outpaint(画面扩展)、Repaint(SCAIL-2运动保留重绘)、Recast(多角色映射)
v1.6.x关键更新:MiniMax H3深度集成与性能突破
近期版本聚焦H3生态的完整性与可用性:
| 版本 | 核心新增 | 技术亮点 |
|---|
| v1.6.1 | H3 Turbo模式 | 6步推理+LoRA强度0.7起;不兼容组合预拦截;强度用户可调且持久化 |
| v1.6.0 | H3 Omni参考 | 有序多图/音/视频参考→身份/场景/声音条件化;Match Output消费级GPU适配;Maximum Detail高内存模式 |
| v1.6.0 | Full 33B支持 | ConvRot加载+融合投影+流式传输;NVFP4/GGUF/INT8量化选项;Turbo LoRA真4/6/8步调度 |
| v1.6.0 | 导演H3增强 | 项目级说话人映射;对话锁定防篡改;时长感知节奏;不完整计划确定性修复 |
| v1.5.5 | H3原生音视频 | FL2VA文本/图像/首尾帧生成;32kHz立体声同步;Context-IR提示词增强;消费级GPU流式运行 |
H3专项优化细节
- 提示词智能:模糊请求(如“两人讨论”)扩展为时长匹配的有意义对话;用户对话原样保留,剩余时间分配静默动作防胡言乱语
- 内存安全:激活分块+显式工作内存预留+MMGP dtype锁定,消费级GPU可流式运行
- 连续性保障:Recast隐藏身份预卷条件;长视频续接移除重叠保音频对齐;纵向比例不再强制16:9
- 可靠性提升:中断作业显式标记;不相容模型/音频组合预拒绝;回归测试覆盖量化/调度/音频等关键环节
部署体验与本地化设计哲学
零配置启动
- 首次运行自动检测GPU/显存/内存→选择配置文件/量化/VAE分块/安全系数
- LLM自动下载llama-server(~600MB)+所选GGUF模型(默认Gemma 4 4B)
- CUDA可用时LLM自动绑定GPU;空闲60秒自动卸载释放显存
- OOM时横幅建议降低余量,一键应用
LoRA管理革新
- CivitAI浏览器内搜索/筛选/一键安装
- AI生成LoRA提示指南(基于CivitAI+HF仓库),含功能说明+示例+推荐权重
- 更新检测+我的LoRA视图+多LoRA包自动解压
- 权重滑块直接显示推荐范围(来自sidecars/HF/启发式)
安全与包容性
- NSFW模式选择加入+免责声明;门控无审查模型/LoRA/服务开关
- 实验性功能默认隐藏(外部API/VoiceRef/Inpaint等),减少新手干扰
- 三主题家族(Golden Hour/Classic/Onyx)×深色/浅色/自动外观
工作区隔离
- 多输出目录+侧边栏快速切换
- 固定/收藏按工作区独立跟踪
- 适用客户项目/NSFW-SFW/实验分离
使用边界与实操建议
适用场景
- ✅ 音乐视频/短片批量生产(导演模式)
- ✅ 角色一致性长视频(KFI+滑动窗口)
- ✅ LoRA探索与微调(AI指南+权重推荐)
- ✅ 消费级GPU本地创作(自动调优+内存安全)
已知局限
- ❌ 导演模式依赖本地LLM质量;Gemma 4 4B在复杂剧本可能需手动修正
- ❌ H3 Omni Maximum Detail模式需高内存系统;消费级GPU请用Match Output
- ❌ 外部API提供商仍为实验性;生产环境建议本地LLM
- ❌ NSFW内容生成风险自担;门控机制非绝对过滤
最佳实践
- 首次使用先跑导演自动模式熟悉流水线,再切手动微调
- H3生成优先用Prompt Enhance;保留原始提示词时禁用增强
- 多LoRA叠加时参考AI指南权重;超出推荐范围需A/B测试
- 长视频生成前验证显存余量;OOM横幅出现立即调整
- 定期点击LoRA更新检查;过时LoRA可能兼容新版模型