FashionChameleon：厦门大学与阿里联合发布，单卡 23.8 FPS 实时人体-服装视频定制，支持生成中途无缝换衣

在电商直播、虚拟偶像及内容创作领域，人物视频的服装定制往往面临“生成慢、修改难、动作僵”的痛点。传统方法需预先设定服装，一旦生成完毕，更换服装需重新渲染整个视频，耗时且缺乏灵活性。FashionChameleon 是由厦门大学与阿里巴巴联合研发的创新框架，专为流式自回归视频生成中的人体-服装定制设计。

• 项目主页：https://quanjiansong.github.io/projects/FashionChameleon/
• GitHub：https://github.com/quanjiansong/FashionChameleon

它不仅是全球首个支持视频生成中途实时交互换衣的技术，更在单张 H200 GPU 上实现了 720p 分辨率下 23.8 帧/秒 的实时生成速度，比现有基线方法快 30-180 倍。通过创新的 KV 缓存重调度与梯度重加权蒸馏，FashionChameleon 让用户能在视频播放过程中“秒换衣服”，同时保持动作自然流畅、画面稳定无穿模。

核心亮点：实时交互、极速生成、无缝换衣

1. 单卡 23.8 FPS，真正实时生成

• 极致速度：在单张 H200 GPU 上实现 720p 视频 23.8 帧/秒 的生成速度，达到商用级实时标准。
• 效率飞跃：相比传统定制方法，速度提升 30-180 倍，彻底消除等待焦虑，实现“所见即所得”。
• 流式蒸馏：采用带有上下文学习的流式蒸馏技术，将教师模型能力提炼为轻量级学生模型，大幅降低推理延迟。

2. 全球首创：中途实时交互换衣

• 动态切换：无需等待视频生成完毕，用户可在生成过程中随时切换新服装，系统即时响应并继续生成后续帧。
• 多服装支持：支持在单次生成中多次更换不同服装，满足多样化展示需求。
• 无需多服装数据：创新性地在仅包含“单服装”的视频数据上训练，通过上下文学习与不匹配参考对，隐式学会多服装切换逻辑，大幅降低数据收集成本。

3. KV 缓存重调度：智能记忆管理

为实现无缝换衣，FashionChameleon 提出了无需额外训练的 KV 缓存重调度 机制：

• 服装 KV 刷新：切换服装时，快速刷新显存中与旧服装相关的键值对，注入新服装特征。
• 历史 KV 撤回：智能清理可能导致冲突的历史上下文信息，避免旧服装痕迹残留。
• 参考 KV 解耦：将人物身份/动作信息与服装信息解耦，确保换衣时人物姿态、面部特征保持不变，仅替换衣物纹理与结构。

4. 梯度重加权 DMD：提升长视频一致性

• 动态监督：传统自强制方法对所有帧平等对待，导致后期帧质量下降。FashionChameleon 引入奖励模型，在分布匹配蒸馏（DMD）反向传播中，对后期帧施加更强的梯度监督。
• 外推增强：显著改善长视频生成中的外推一致性，确保长时间视频中人物形象、动作与服装的稳定性和连贯性，避免崩坏或扭曲。

性能测试结果