Hummingbird

Tavus 在 FAL平台上推出了一款全新的唇形同步模型——Hummingbird-0。作为研究预览版，这款模型被 Tavus 称为迄今为止测试过的最准确的零样本唇形同步模型，无论是开源还是闭源领域，它都表现出了卓越的性能。

有趣的是，Hummingbird 并非一开始就被设计为一个独立的模型。它是 Tavus 在训练其全脸渲染器 Phoenix-3 时意外诞生的副产品。然而，由于其在零样本条件下的出色表现、快速处理速度和极高的准确性，团队决定将其单独发布，供研究社区和开发者使用。

Hummingbird-0 的优势

通过与现有开源和闭源唇形同步模型的对比，Hummingbird-0 在以下方面表现出色：

1. 真实感：生成的视频中嘴部动作更加自然，接近真实人类的表现。
2. 身份保留：能够很好地保留说话者的面部特征，避免失真或不自然的变形。
3. 唇形同步准确性：精确匹配音频内容，确保嘴部动作与语音完全一致。
4. 成本效益：相较于其他领先的唇形同步模型，Hummingbird 更加经济实惠。

Tavus 唇形同步服务：轻松创建音画同步视频

Tavus 提供了一项基于 Hummingbird-0 的唇形同步服务，允许用户将音频与现有视频同步，生成嘴部动作与音频完美匹配的视频。这项服务特别适合以下场景：

• 个性化视频制作：为现有视频添加自定义音轨。
• 专业效果实现：生成高质量的音视频同步内容，适用于影视、广告或社交媒体。
• 自动化内容生成：快速批量生成带有语音的动态视频。

工作原理

1. 提交请求

通过 API 提交唇形同步请求，需提供以下参数：

• original_video_url：原始视频的 URL（必须公开可访问，格式为 .mp4）。
• source_audio_url：音频文件的 URL（必须公开可访问，格式为 .mp3 或 .wav）。

2. 处理阶段

• 系统会分析视频和音频内容。
• 将说话者的嘴部动作与提供的音频同步。
• 生成一个新的带有同步音频的视频。

3. 完成与交付

• 处理完成后，您可以通过 API 访问生成的视频。
• 使用返回的 video_url 下载最终视频。
• 如果提供了 callback_url，系统会通过 webhook 通知您任务状态。

API 功能概览

Tavus 的唇形同步服务提供了以下核心功能：

1. 创建唇形同步任务：提交视频和音频进行同步处理。
2. 删除唇形同步任务：清理不再需要的任务。
3. 获取单个任务详情：查询特定任务的状态和结果。
4. 获取任务列表：查看所有任务的历史记录。
5. 监控任务状态：通过 webhook 或手动检查任务进度。

最佳实践与限制

为了获得最佳效果，请遵循以下建议：

支持的格式与要求

• 视频格式：.mp4
• 音频格式：.mp3 或 .wav
• 时长限制：源视频和音频均不得超过 5 分钟。
• URL 要求：视频和音频文件必须可通过公开链接访问（如 S3 预签名 URL）。

视频质量建议

• 视频应清晰显示说话者的嘴部动作。
• 使用非卡通人物，且说话者应面向摄像头，保持面部可见。
• 确保光线充足，避免阴影或过暗的画面。

音频质量建议

• 音频应清晰无背景噪音。
• 使用单人语音音频，避免多声音重叠。
• 避免唱歌或耳语等不规则语音模式。

适用场景

Hummingbird-0 和 Tavus 的唇形同步服务适用于多种实际应用场景：

1. 虚拟主播：为虚拟角色生成自然的嘴部动作，提升观众体验。
2. 教育与培训：快速生成讲解视频，用于在线课程或企业内部培训。
3. 社交媒体内容：制作个性化的动态视频，吸引更多关注。
4. 影视后期制作：优化配音后的视频同步效果，节省人工成本。