字节跳动推出的高精度 3D 生成大模型Seed3D 2.0

字节跳动正式发布了新一代 3D 生成大模型 Seed3D 2.0。作为 Seed3D 1.0 的迭代升级，2.0 版本在几何精度和材质质量上均达到了 State-of-the-Art (SOTA) 水平，并大幅拓展了生成内容在物理仿真、交互系统及场景组合中的下游可用性。

• 官方介绍：https://seed.bytedance.com/zh/seed3d_2_0

核心突破：几何与纹理的双重飞跃

1. 几何生成：Coarse-to-Fine 两阶段策略

为了解决锐利边缘、薄壁结构和复杂拓扑等几何生成难点，Seed3D 2.0 引入了“由粗到细”的两阶段生成策略：

• 解耦优化：将“整体结构”与“几何细节”分开处理。第一阶段构建宏观骨架，第二阶段精细化局部几何。
• 效果：显著提升了模型的几何保真度，减少了传统生成模型中常见的结构扭曲或细节丢失问题。

2. 纹理材质：统一 PBR + MoE + VLM 先验

• 统一 PBR 建模：联合建模完整的物理渲染（PBR）贴图（包括反照率、法线、粗糙度等），确保材质在任意光照下的真实感。
• MoE 架构增强：利用混合专家（Mixture of Experts）架构，提升高分辨率下的材质细节表现与边界精度。
• VLM 先验引入：借助视觉语言模型（VLM）的强大理解力，增强在未知或复杂光照条件下对材质分解的稳定性与准确性。

下游任务拓展：从“看”到“用”

Seed3D 2.0 不仅致力于生成好看的 3D 模型，更关注其在实际工程中的应用价值：

1. 部件级分割与补全

• 功能拆解：能够将完整的 3D 物体智能拆解为独立的功能性部件。
• 应用场景：适用于交互式系统（如游戏引擎中可独立操控的组件）及需要局部编辑的创作流程。

2. 关节化资产生成 (Articulated Assets)

• 运动学理解：融合多模态技术，利用 VLM识别部件的运动学属性（如“可旋转”、“固定”），并估计关节轴位置。
• 物理合理性验证：引入图生视频模型生成运动参考，优化关节运动范围，确保物理逻辑正确。
• 标准格式输出：最终输出带有完整关节信息的 URDF 等标准格式文件，可直接导入 Isaac Sim 等主流物理仿真引擎进行机器人训练或仿真测试。

3. 智能场景组合

• 多模态布局推理：
  • 文本输入：利用微调后的 LLM 进行空间关系推理，生成合理布局。
  • 图像/视频输入：结合深度估计、实例分割及遮挡修复技术，推断场景的空间结构。
• 自动化组装：根据推理出的布局，逐个生成 3D 对象并按空间关系组合，构建丰富、完整且逻辑自洽的 3D 场景。

性能评估：人类盲评领先

在一项针对 60 位具有专业 3D 建模经验的人类打分员的系统性盲评研究中，Seed3D 2.0 展现了显著优势：

• 几何形状：在与六个主流 3D 生成模型的对比中，Seed3D 2.0 获得了最高的偏好率，验证了其架构创新带来的几何质量提升。
• 纹理质量：在纹理生成方面，Seed3D 2.0 的偏好率达到 69% 以上，大幅领先行业基线方法。