DreamScene：用 GPT-4 规划 + 3D 高斯建模，实现端到端文本生成 3D 场景

132 0

从一句“现代客厅，带沙发和挂墙电视”，到一个完整、一致、可编辑的 3D 场景——这曾是 3D 内容创作的理想。如今，中国科学技术大学、南洋理工大学、香港科技大学（广州）与奥胡斯大学联合提出的 DreamScene，正让这一理想逐步成为现实。

DreamScene 是一个端到端的文本到 3D 场景生成框架，首次将 GPT-4 的语义理解能力与 3D 高斯表示（3D Gaussian Splatting） 深度结合，实现了从自然语言或对话输入，自动生成高质量、结构合理且支持精细编辑的室内/室外 3D 场景。

它不仅解决了传统方法在布局合理性、视角一致性与生成效率上的瓶颈，还引入了对4D 动态编辑的支持，为游戏、影视、建筑设计等领域的自动化内容生成提供了新路径。

当前，文本生成 3D 内容的技术主要依赖扩散模型或 NeRF，但在实际应用中面临三大挑战：

DreamScene 的目标，正是系统性地解决这些问题。

DreamScene 的工作流程分为四个关键阶段：场景规划 → 对象生成 → 环境合成 → 场景编辑。每一步都针对现有痛点进行了专门设计。

输入一段文本描述（如“一个现代风格的客厅，有一张大沙发和一台挂在墙上的电视”），DreamScene 首先调用 GPT-4 作为智能代理，进行语义解析与结构推理。

GPT-4 输出：

这些信息被组织成一张混合约束图（Hybrid Constraint Graph），作为后续布局的指导蓝图。

基于约束图，DreamScene 采用图约束放置算法（Graph-based Constraint Placement, GCP），在全局坐标系中为每个对象分配初始位置与朝向。

该算法确保：

这一阶段实现了从“语义描述”到“结构化布局”的关键跃迁。

这是 DreamScene 的核心技术之一：Formation Pattern Sampling（FPS）。

传统方法常使用 NeRF 或网格重建，耗时且难收敛。DreamScene 改用 3D 高斯表示，并通过多步采样策略高效生成每个对象的几何与外观。

FPS 的核心机制包括：

得益于 3D 高斯的高效性，单个对象生成仅需数分钟，且支持并行处理。

为避免“局部真实、整体失真”的问题，DreamScene 引入渐进式三阶段相机采样策略，分步优化场景整体：

该策略有效提升了场景在多视角下的视觉连贯性。

DreamScene 不只是一个生成器，更是一个可交互的 3D 编辑平台。它支持多种细粒度操作：

编辑类型	实现方式
对象移动	调整仿射变换参数，实时重渲染
外观修改	输入新描述（如“把沙发换成皮质棕色”），触发局部重生成
添加/删除对象	更新约束图，增量生成或移除高斯表示
4D 动态运动	为对象绑定时间维度参数，生成周期性或响应式动画（如摆动的吊灯、旋转的风扇）

这些能力使得 DreamScene 可用于迭代式设计、虚拟空间定制等真实工作流。