Tost AI Sprite Sheet Studio

Tost AI – Sprite Sheet Studio是一套完全本地运行、不调用外部API的工具，专门把视频素材转换成游戏项目可直接使用的精灵表（Sprite Sheet），内置两大核心模块：Generator生成器 + Editor精灵编辑器，支持Python本地直接启动或Docker容器部署。

Generator 生成器：视频转精灵表完整流水线

整套链路：VRMBG-3.0视频时序抠像 → 可选背景修复 → 自动紧致裁剪 → 打包精灵网格表，同步输出配套JSON描述文件、预览播放器与GIF动画。内置不变量校验门，自动校验输出质量，不盲目采信模型结果。

• 输入：支持拖拽上传视频，自动读取帧数、帧率、分辨率，提供可播放预览，自动计算可用列数
• 背景移除：VRMBG-3.0时序自回归抠像，可设置推理尺寸、帧范围、采样步长
• 蒙版修复（默认关闭，按需手动开启）
  1. 边界洪水填充：拓扑连通检测，清除画面边界相连的背景杂色
  2. 色调色键抠除：绿幕类背景去除，附带6px边缘溢色抑制，可扩展清除边界连通的键色区域；专门处理抠像后轮廓边缘的色彩溢出问题，区分主体本身色彩与残留背景色
• 表布局配置：单元格内边距、列数、纹理尺寸上限自定义
• 输出产物：精灵PNG图集、sidecar元数据JSON、HTML预览页面、GIF动画、原始帧素材
• 输出文件自动保存至runs/时间_项目名/，一键跳转编辑器继续加工

Editor 精灵编辑器：精细化修复精灵动画

编辑器不把像素放在前端Canvas处理，所有像素运算在服务端numpy完成，前端仅发送操作指令，只刷新变更的精灵单元，避免前后端两套渲染逻辑不一致。包含44项编辑操作，分为9大类，配套全套绘图与时间线工具。

编辑功能分组

• 像素艺术：Snap Pixels（Spritefusion像素吸附，自动调色板）、Pixelate网格降采样、PixelOE轮廓强化、最近邻整数缩放，保留硬像素边缘
• 变换：微移、水平/垂直翻转、90/180/270度旋转、内容裁剪、单元画布扩容、锚点对齐（消除逐帧抖动，本工具核心功能）
• Alpha蒙版：阈值、透明度重映射、腐蚀/膨胀、羽化、预乘RGB还原，修复半透明边缘发暗问题
• 蒙版修复：解除预乘、清除背景泄漏、按指定颜色擦除
• 色彩：亮度对比度、伽马、色调分离、调色板量化、填充染色
• 帧序列：倒序、帧范围筛选、删除帧、帧保持、去重、插入中间帧、重排帧顺序，支持洋葱皮预览
• 布局：修改列数、自动分配列、调整单元画布大小
• 绘图：画笔/橡皮擦局部绘制修补
• 元数据：播放参数、校验阈值配置

配套交互工具：选择、平移、拾色器；滚轮缩放、中键平移、框选单元；Ctrl/Shift多选，洋葱皮预览、时间线、逐帧音频、完整撤销/重做栈。
深色主题自带WCAG 4.5:1对比度校验，CSS变量驱动，切换主题不会出现页面闪白。

重点特性：Align pivot锚点对齐

抠像模型输出的 bounding box 每帧会偏移，单独看每一帧没问题，但动画播放时角色抖动。锚点对齐会移动所有选中单元，把角色锚点（一般选底部中心）固定到每帧同一个像素坐标，消除动画抖动。

部署方式

Python本地运行

cd C:\Users\PC\Desktop\monsters\sprite\sprite_studio
C:\Users\PC\AppData\Local\Programs\Python\Python313\python.exe app.py

• 生成器地址：http://127.0.0.1:8765
• 编辑器地址：http://127.0.0.1:8765/editor
  依赖：torch、cv2、transformers、PIL、numpy、fastapi、uvicorn；ffmpeg可选，仅辅助脚本使用。

Docker容器部署

镜像内置模型与像素处理逻辑，要求NVIDIA显卡，最低24GB显存

# 拉取并启动容器
docker stop tostai-sprite-sheet-studio; docker rm tostai-sprite-sheet-studio; docker pull camenduru/tostai-sprite-sheet-studio
docker run -d --name tostai-sprite-sheet-studio --gpus all -p 8765:8765 --restart unless-stopped camenduru/tostai-sprite-sheet-studio

--gpus all不可省略，缺少则CUDA不可用，抠像回退至CPU，速度极慢。
构建镜像需要HuggingFace Token，通过secret挂载传入，不使用build-arg，防止token泄露。

底层设计亮点

1. 撤销栈优化：撤销快照存储PNG压缩图像而非原始数组，大幅降低内存占用；按字节上限控制撤销栈，支持帧数量增减场景的撤销恢复
2. 原子保存：修改精灵网格是原子操作，拒绝生成行列与单元数量不匹配的损坏图集，禁止直接覆盖源文件（默认关闭覆盖，需要手动勾选开启）
3. 缓存控制：精灵图片URL携带修订版本号，规避浏览器缓存导致编辑后画面不刷新的bug
4. 选区逻辑统一：画布框选、时间线Shift多选使用同一套范围选择函数，解决两种界面选区不一致的问题
5. 预览播放器独立渲染，适配窗口缩放，支持循环/乒乓往复/单次播放模式
6. 内置完整性校验：检测背景泄漏、直Alpha通道、主体完整性、预乘RGB异常等问题，编辑后保留校验逻辑

适用场景

独立游戏、像素动画、2D角色动画制作，把AI生成视频、实拍绿幕动作片段快速转成引擎可用精灵图集，适合Godot、Unity、网页小游戏等项目。

局限：需要大显存NVIDIA显卡；锚点对齐只能校正平移抖动，无法修复原始视频本身的旋转形变；蒙版修复属于辅助功能，复杂主体边缘依然需要人工微调。