Oasis 是由 Decart 和 Etched 联手打造的全球首个实时 AI 世界模型。这不仅仅是一个游戏，而是一个完全由 AI 实时生成的互动体验。想象一下，一个无需等待加载、始终以 20fps 流畅运行的实时渲染世界，零延迟，完全沉浸。
- 项目主页：https://oasis-model.github.io
- GitHub：https://github.com/etched-ai/open-oasis
- 模型：https://huggingface.co/Etched/oasis-500m
- Demo：https://oasis.decart.ai/welcome
传统游戏与 Oasis 的区别
在传统的游戏中，逻辑和预设的脚本驱动着游戏世界的发展。但 Oasis 不同，它不是由固定的逻辑驱动，而是由 AI 实时逐像素创造。这意味着，游戏世界的每一个细节，包括物理规则、游戏规则乃至图形渲染，都是即时生成的。
Oasis 的技术特点
1、实时生成：
- 逐帧生成：Oasis 是第一个可玩、实时、开放世界的 AI 模型。它是一个互动视频游戏，但由 DiT 模型逐帧生成。
- 用户输入：Oasis 接收用户键盘和鼠标输入，并生成实时游戏玩法，内部模拟物理、游戏规则和图形。
2、基础模型：
- 自回归模型：该模型通过直接观察游戏玩法学会了允许用户移动、跳跃、拾取物品、打破方块等动作。
- 研究进展：我们将 Oasis 视为我们研究基础模型模拟更复杂互动世界的第一步，从而为未来由 AI 驱动的世界取代经典游戏引擎铺平道路。
技术实现
实现 Oasis 需要两个基本进步的结合：
1、模型架构的改进：
- 扩散训练与 Transformer 模型：我们采用了扩散训练与 Transformer 模型相结合的最新技术，灵感来自先进的大语言模型（LLMs），以训练一个能够逐帧生成视频的自回归模型，该视频由用户在那一瞬间的动作条件化。
2、模型推理技术的突破：
- 专有推理框架：我们目前使用 Decart 的专有推理框架，该框架旨在为 Transformer 工作负载提供 英伟达 H100 Tensor Core GPU 的峰值利用率。
- Sohu 芯片支持：我们还构建了模型以支持 Etched 即将推出的 Sohu 芯片，这将使我们能够在 4K 分辨率下运行像 Oasis 这样的模型。
发布与演示
- 代码和模型权重：我们发布了 Oasis 的代码和您可以在本地运行的模型权重。
- 实时可玩演示：我们还提供了一个更大检查点的实时可玩演示。今天，使用 Decart 的专有推理平台，我们展示了实时基于 Transformer 的视频是可能的，并且可以通过网络流式传输以进行实时游戏玩法。
未来展望
虽然 Oasis 是一个令人印象深刻的演示，但我们相信这项研究只是一个新旅程的开始，涉及更复杂的基础模型，这些模型能够在新的水平上实现实时人机互动。这可能会通过提供一个将控制权交到用户手中的互动视频界面，彻底改变各种体验。
- 个性化内容生成：想象一个世界，这种集成如此紧密，以至于基础模型甚至可以根据用户偏好即时生成内容，从而增强现代娱乐平台。
- 新的游戏体验：例如，文本和音频提示可以指导游戏玩法（例如，“想象有一只粉红色的象在追我”）。
Oasis 代表了游戏和互动内容生成技术的一个重要里程碑。通过实时生成 AI，Decart 和 Etched 展示了未来游戏创作的无限潜力。随着技术的不断发展，我们可以期待看到更多创新的游戏体验和应用。
评论0