story-to-handdrawn-video

story-to-handdrawn-video是一个基于 Remotion 的工具，能把中文文案或一组有序图片，转换成 3:4 竖屏的手绘风格动画。它内置了 20 种视觉风格（如彩铅日记、儿童蜡笔、水墨、白板讲解等），支持手写体字幕和“文字 → 黑白线稿 → 彩色插画”的渐进式揭示效果。

默认输出是无配音、无音乐的 H.264 视频轨道，方便你后期自己加声音。

核心功能

• 自动分镜：根据中文句子自动拆分节拍，或者按你上传的图片顺序生成画面。
• 风格切换：内置 20 种手绘风格，未指定时默认使用「彩铅日记漫画」。
• 动态揭示：支持从左到右的文字与画稿揭示，以及可选的右下角卷页翻书转场。
• Agent 驱动：提供了一个 Skill 包，装进 Codex、Claude Code 或 Kimi Code 后，直接用自然语言就能指挥它干活，不用手动跑脚本。
• 安全构图：采用安全不裁剪的构图方式，确保重要内容不被切掉。

怎么让它动起来？

这个工具分两部分：根目录是负责渲染的 Remotion 工程，skill-package 里是给 AI Agent 用的 Skill。

1. 准备环境

你需要 Node.js 20+、Python 3.10+、FFmpeg 和 npm。

git clone https://github.com/gnipbao/story-to-handdrawn-video.git
cd story-to-handdrawn-video
npm ci
npm run check # 检查一下 TypeScript 和分镜结构

2. 安装 Skill (以 Codex 为例)

把 Skill 复制到你的 Agent 目录下，并告诉它渲染器在哪：

cp -R skill-package/story-to-handdrawn-video ~/.codex/skills/
export STORY_VIDEO_PROJECT=/absolute/path/to/story-to-handdrawn-video

3. 用自然语言指挥它

装好 Skill 后，你只需要在 Agent 里说人话：

• 生成故事动画：
  

  使用 $story-to-handdrawn-video 把这段故事生成可后期配音的手绘动画。
  [粘贴你的故事文本]

• 上传图片生成：
  

  使用 $story-to-handdrawn-video 把这几张图片按顺序生成手绘动画：
  /path/01.jpg /path/02.jpg

• 先看预览：
  

  使用 $story-to-handdrawn-video 先给这个故事生成一个 720×960 的预览版。

使用小贴士

• 控制节奏：故事文本默认一句一拍。如果你想控制快慢，直接在文本里按句分行就行。
• 视觉规划：如果遇到时间跳跃大、或者有敏感角色（如医疗、儿童）的场景，建议先让 Agent 出一个视觉规划的 JSON，你确认没问题了再让它生成。
• 图片生成：默认走 Codex Image2 工作流。如果你非要用 OpenAI API，得自己配 OPENAI_API_KEY 并显式要求。
• 关于声音：生成的视频是静音的。配音和背景音乐留给你后期处理，这样更灵活。