谷歌发布新一代世界模型Genie 4 :原生音视频同步实时模拟,和 Gemini 联动构建交互式虚拟世界

早报2小时前发布 小马良
3 0

谷歌今天正式发布了新一代世界模型 Genie 4。作为一款具备前所未有真实感的实时交互式模拟引擎,Genie 4 原生支持多模态生成,能够同时渲染逼真的视觉画面、环境噪声、类似音乐的音频以及交互式对话。该模型的发布标志着谷歌在构建通用人工智能(AGI)所需的世界理解与模拟能力上迈出了关键一步。

谷歌发布新一代世界模型Genie 4 :原生音视频同步实时模拟,和 Gemini 联动构建交互式虚拟世界

核心技术突破:物理真实感与原生多模态

Genie 4 在实时交互模拟的多个维度上实现了显著跃升:

  • 极致的物理与动作真实感:基于对现实世界的先进物理理解,Genie 4 能够精准模拟空气动力学、碰撞等复杂物理场景。更为突出的是其对人类动作的模拟,生成的角色能够自然移动、对环境做出有机反应,并支持在实时交互中被引导。
  • 原生音频与交互式对话:Genie 4 是谷歌首个原生生成音频的实时世界模型。它不仅能为每个场景生成匹配的环境音(如林间风声、海滩浪涛),还引入了可即时适应的交互式对话系统,角色能够实时对话并对用户输入或世界事件做出反应。
  • 自然语言实时塑造:用户可以使用自然语言在运行时实时修改模拟(如改变天气、移动相机、引入新物体)。系统会根据周围场景的上下文智能调整提示,并在用户输入的间隙自动监控和引导场景,确保世界连贯推进。

架构创新:Gemini 推理与 Genie 生成的深度融合

Genie 4 并非孤立运行,而是深度融合了 Gemini 系列模型的强大能力,为世界模拟增加了复杂的推理层:

  • Gemini 3.8 Flash 作为引导智能体:在 Genie 4 实时生成世界的同时,Gemini 3.8 Flash 在循环中持续观察场景,将目标分解为具体步骤,并审查传入的帧以跟踪进度和验证结果。当世界发生变化或用户干预时,它会即时调整计划,解锁具有可靠因果关系和多步推理能力的世界。
  • Gemini 4 Argon 与机器人研究:谷歌正在试验将 Gemini 4 Argon 与 Genie 4 结合,用于 Gemini Robotics 研究。Argon 能够将用户指定的复杂任务分解为步骤,并在模拟渲染时作为文本说明交错发送给 Genie 4,从而在想象世界中模拟和测试广泛的机器人任务场景。

行业应用探索与测试反馈

目前,Genie 4 已作为研究预览版向创意、新闻、教育、游戏和工程领域的可信测试者推出。反馈显示,其照片级真实感和实时引导能力正在重塑多个行业的工作流:

  • 创意与影视指导:电影制作人将其作为预可视化的“草稿模式”,在实时模拟中运行多个“镜头”,即时调整摄像机角度、灯光和动作。
  • 新闻与历史沉浸:新闻摄影记者探索将 2D 档案照片瞬间转化为动态的 3D 环境模拟,用于体验历史空间或可视化山洪、野火等短期环境事件。
  • 游戏与交互设计:游戏开发者在编写引擎代码前,通过自然语言提示在几秒内从初始想法生成可探索的原型,测试视觉风格和交互机制。
  • 机器人与企业模拟:各行业合作伙伴正评估其作为“从零到一”快速场景生成的工具,为 AI 智能体和机器人开发训练环境。

安全护栏、当前局限与未来展望

在负责任 AI 方面,Genie 4 包含了严格的安全护栏以防止生成有害内容,并且所有生成的视频和音频均嵌入了 SynthID 数字水印,以确保 AI 生成内容的透明度与可追溯性。

作为一项早期实验性技术,Genie 4 仍面临一些局限:在长时间运行或经过多次复杂提示编辑后,视觉细节和物体永久性可能会出现漂移;此外,复杂的物理交互、实时音频的绝对准确性、清晰文本的渲染以及长期空间一致性,仍是活跃的研究领域。

展望未来,谷歌指出了 “混合世界模型” 这一极具前景的发展路径。通过将代码和语言模型(如 Gemini)的逻辑、结构化推理,与像素级模拟(如 Genie)的丰富感官表征更紧密地结合,未来的世界模型将比单一方法更加连贯、可控且接地,为解锁全新的交互体验和 AGI 训练环境奠定坚实基础。

可用性

Genie 4 现已向可信测试者开放,并即将面向 Project Genie 中的 Google AI Ultra 订阅者,以及 Gemini API 和 Google AI Studio 的早期访问合作伙伴推出。用户可通过官方渠道加入候补名单。(来源)

© 版权声明

相关文章