京东开源自研 JoyAI-Video-Edit：实现 720P/30fps 实时流式视频编辑

京东今日正式宣布开源自研的实时流式视频编辑模型 JoyAI-Video-Edit。该模型突破了传统视频编辑“先渲染后观看”的模式，支持用户在视频播放过程中实时修改人物、场景与物体，真正实现了“边观看、边创作”的交互式体验。

• GitHub：https://github.com/jd-opensource/JoyAI-Video-Edit
• 模型：https://huggingface.co/jdopensource/JoyAI-Video-Edit

官方数据显示，JoyAI-Video-Edit 在多项核心指标上全面领先于 SANA Streaming、LiveEdit、Xmax-X2.0 等国际代表性模型，达到世界一流水平。

核心突破：速度与长度的双重解放

1. 极致推理速度：720P @ 30fps

视频实时编辑的最大瓶颈在于处理速度。如果模型推理慢于播放速度，会导致严重的卡顿与延迟。

• 全自研架构：基于京东自研的 JoyAI-Video 模型底座。
• 实时同步：在 720P 分辨率下实现每秒 30 帧的推理速度，完美匹配常见影视视频的播放节奏，确保画面清晰且流畅无卡顿。

2. 无限时长支持：打破片段限制

此前的流式编辑模型通常只能处理几秒或分钟级的短片段，难以应对长视频需求。

• 持续流式处理：JoyAI-Video-Edit 支持任意时长的稳定编辑。随着视频持续播放，模型持续处理后续帧，用户无需等待整段视频生成完成即可看到修改效果。
• 动态交互：用户可以在播放过程中随时替换物体、调整人物形象或改变画面风格，实现真正的即时反馈。

性能验证：OpenVE-Bench 全面领先

在业界权威的 OpenVE-Bench 通用评测中，JoyAI-Video-Edit 超越了目前所有的流式编辑方法，尤其在以下任务中优势显著：

• 全局风格迁移：保持时间一致性的同时转换整体视觉风格。
• 局部替换与删除：精准识别并修改特定区域，不留痕迹。
• 字幕编辑：实时修改视频中的文字内容，保持背景自然融合。

应用场景：从创意创作到具身智能

1. 创意视频制作

• 虚拟换装：让视频中的人物连续更换不同风格的服装。
• 直播增强：在直播中将普通街道背景实时转换为动画世界或科幻场景。
• 家装设计：实时尝试不同的家具摆放、墙面颜色和灯光效果，所见即所得。

2. 具身智能数据合成

JoyAI-Video-Edit 为机器人训练提供了低成本的数据扩充路径：

• 动作迁移：将人手操作视频转化为机械手或机械臂的操作素材。
• 场景扩展：在保留物体位置、空间关系与动作轨迹的基础上，替换场景、物体与机器人形态。
• 解决痛点：有效降低真机数据采集成本，特别是针对危险或罕见场景，可通过编辑现有视频快速生成大量高质量训练样本。