来自腾讯、东京大学、澳大利亚国立大学、上海交通大学的研究人员推出新型3D场景生成技术BlockFusion，它使用基于扩散模型的方法来创建和扩展3D场景。
BlockFusion的核心思想是将3D场景分解成一系列的立方体块（block），并通过一种称为潜在三平面（latent tri-plane）的表示方法来生成这些块。这种方法允许场景在任何方向上无缝扩展，非常适合于创建大型、连续且可探索的3D环境。
主要特点：
- 无缝扩展：BlockFusion能够根据用户的布局控制（如2D布局图）生成新的3D块，并将它们与现有场景无缝地融合。
- 高质量几何形状：通过使用潜在三平面表示，BlockFusion能够生成具有高质量几何细节的3D形状。
- 布局控制：用户可以通过2D布局图来精确控制场景元素的放置和排列，实现对场景生成过程的精确控制。
- 潜在三平面扩散：BlockFusion利用潜在三平面空间进行扩散过程，这使得模型能够在较低维度的空间中高效地学习数据分布，同时保持对3D结构的表示能力。
工作原理：
BlockFusion的训练过程包括三个主要步骤：
- 3D块生成：首先，将完整的3D场景网格随机裁剪成立方体块，并进行水密处理。
- 潜在三平面压缩：然后，使用自动编码器将这些块转换为潜在三平面，这是一个更紧凑的表示形式，便于扩散模型处理。
- 扩散模型训练：在潜在三平面空间上训练扩散模型（DDPM），以学习如何从噪声中恢复出有意义的3D形状。
在生成新场景时，BlockFusion通过在现有场景周围添加空块，并使用相邻块的特征样本来指导新块的生成。这个过程在潜在三平面空间中进行，从而产生与现有场景在语义和几何上和谐过渡的新块。
具体应用场景：
- 视频游戏：BlockFusion可以用于生成开放世界游戏的环境，允许玩家在没有预设边界的世界中自由探索。
- 电影制作：在电影和动画制作中，BlockFusion可以用来创建复杂的3D场景，无需手动建模。
- 虚拟现实（VR）和增强现实（AR）：在VR和AR应用中，BlockFusion可以生成沉浸式的3D环境，提供更加真实的体验。
- 建筑和城市规划：建筑师和城市规划者可以使用BlockFusion来快速生成和可视化建筑和城市布局。
评论0