Mesh Avatar Studio

2天前发布 6 00

Mesh Avatar Studio 把 2D Vtuber 形象制作拆成「AI 自动拆图绑定 + 人工微调控制点」,降低插画转动态形象门槛;整套工作流本地优先,直播追踪数据不出本机,兼顾创作者手动精细调整和直播推流需求。

所在地:
shinshin86
收录时间:
2026-10-25
其他站点:
Mesh Avatar StudioMesh Avatar Studio

Mesh Avatar Studio 是一款创新的开源工具,旨在将单张静态插画快速转化为生动、可动的 2D 网格虚拟形象。通过结合 AI 编程助手的自动化处理能力与本地可视化编辑器的精细控制,用户无需具备专业的 Live2D 建模知识,即可让角色实现眨眼、说话、转头、呼吸及头发自然摆动等动态效果。

Mesh Avatar Studio

核心工作流:四步打造专属虚拟形象

Mesh Avatar Studio 将复杂的虚拟形象制作过程简化为四个清晰的步骤,其中自动化与人工微调相辅相成:

  1. AI 助手自动化生成:用户在项目目录中调用 Claude Code 或 Codex 等编程助手,传入正面、头肩出镜且背景透明的 PNG 插画。助手会严格遵循内置的 Agent 指南,自动完成坐标读取、网格绑定放置、图片图层切割,并进行初步的动作审查。生成的项目将保存在本地的 projects/<name>/ 目录中。
  2. 本地编辑器检查:启动本地编辑器后,用户可加载生成的项目,通过姿态测试验证转头、倾斜和闭眼等基础动作,并在嘴型测试中输入文本预览口型同步效果。
  3. 控制点可视化微调:若自动绑定存在偏差,用户可在编辑器左侧选择特定部件,直接在图像上拖动高亮的控制点进行修正。对于涉及图层切割逻辑的修改(如眼睛、手部轮廓或头发蒙版区域),系统支持一键“保存并重建图层”,确保底层数据与视觉表现同步。
  4. 可选的绘制表情差分:为进一步提升自然度,用户可请求 AI(如 Codex)生成绘制的闭眼、元音嘴型或特定情绪(悲伤、惊讶等)的表情差分。这些差分图像将被自动导入,使虚拟形象在对应情绪标签下切换时,依然保持流畅的眨眼与说话动画。

隐私优先的直播与 OBS 深度集成

在直播与内容创作场景下,Mesh Avatar Studio 提供了专业且注重隐私的解决方案:

  • 本地追踪,数据不出设备:启动直播模式后,系统利用本地摄像头和麦克风进行面部追踪与口型同步。所有的视频流和音频数据均保留在本地,直播页面仅接收并输出虚拟形象的动作数值,彻底杜绝隐私泄露风险。
  • 无缝对接 OBS:用户可将生成的本地直播地址直接作为“浏览器源”添加到 OBS 中,完美支持透明背景。同时支持通过 OBS 虚拟摄像头功能,将虚拟形象直接应用于 Zoom、Google Meet 等视频会议软件。
  • 丰富的表现力控制:支持可选的动态光照与阴影跟随效果,并允许用户保存最多八个光照预设。在直播过程中,可通过键盘快捷键(1-8)或 Stream Deck 快速切换表情与光照方案。

灵活的分享机制与免安装体验

  • .mavatar 格式导出:用户可将包含绑定数据、构建图层、绘制表情和元数据的虚拟形象导出为单一的 .mavatar 文件。该文件支持选择性包含原始插画,方便接收者在 Studio 中进行二次编辑。
  • 浏览器端 Player:对于仅需展示或简单驱动的用户,Studio 提供了完全在浏览器内运行的 Player。它支持面部追踪、口型同步和光照效果,且无需安装任何依赖或上传任何数据。不过需注意,Player 模式不支持 OBS 浏览器源的透明背景输出,需使用窗口采集配合色度键滤镜。

部署环境与注意事项

要获得完整的编辑与生成体验,系统需满足以下环境要求:

  • 基础依赖:Node.js 22.17+、Git。
  • 进阶依赖:uv 和 Python(用于重建图层),Playwright Chromium(用于助手生成时的动作审查渲染)。
  • Windows 权限注意:建议通过 git clone 获取仓库。若使用 ZIP 压缩包,解压前需在文件属性中“解除锁定”。此外,需确保 projects/ 文件夹由当前 Windows 账户创建,以避免沙箱或助手创建的文件夹因权限限制导致编辑器无法读取。

相关导航