在 ICLR 2026 上，苹果团队提出了 LiTo (Surface Light Field Tokenization)，一种创新的潜在 3D 表示方法。LiTo 能够联合建模物体的几何形状与与视角相关的外观（View-Dependent Appearance），解决了传统方法难以逼真还原镜面高光、菲涅尔反射等复杂光照效果的难题。
- 项目主页：https://apple.github.io/ml-lito
- GitHub：https://github.com/apple/ml-lito
更令人振奋的是，基于 LiTo 构建的单图生成模型，仅需 4.7 秒（在 H100 GPU 上）即可从单张图像生成高质量、与输入光照和材质高度一致的 3D 物体，且在几何精度和外观保真度上全面超越了 TRELLIS、3DTopia-XL 等当前 SOTA 方法。
核心突破：为何 LiTo 能“既快又好”？
传统 3D 生成模型往往面临两难抉择：要么只建模几何（丢失材质细节），要么只建模漫反射外观（忽略视角变化导致的反光差异）。LiTo 通过以下创新打破了这一局限：
1. 表面光场令牌化（Surface Light Field Tokenization）
LiTo 的核心思想是将物体表面的光场信息编码为紧凑的潜在向量。
- 输入丰富：利用 RGB-D 图像反投影得到的表面采样点（包含位置 $x$、观测方向 $\hat{d}$、颜色 $c$），而非简单的点云或网格。
- 联合编码：在一个统一的 3D 潜在空间中，同时表示几何结构和视角依赖的外观特征。
2. 极致高效的架构设计
- Perceiver IO 编码器：处理约 100 万个输入采样点，通过创新的 3D 面片化（3D Patchification） 和 体素化自注意力 机制，大幅降低计算量。
- 紧凑隐空间：最终输出仅 8192 个 32 维隐式令牌，参数量仅为同类方法的 1/10，却保留了极高的信息密度。
3. 双解码器协同工作
- 几何解码器：基于流匹配（Flow Matching），快速解码出高精度点云及法向量。
- 视角依赖高斯解码器：输出 3 阶球谐函数（SH）参数化的 3D 高斯泼溅，精准模拟随视角变化的颜色、高光和菲涅尔效应。
单图生成：4.7 秒的魔法
LiTo 不仅是一个重建工具，更是一个强大的生成模型。
- DiT 架构驱动：采用扩散 Transformer（DiT）架构，以 DINOv2 提取的图像特征为条件。
- 自动视角对齐：通过旋转世界坐标，使生成结果自动与输入图像的视角对齐，无需复杂的后处理。
- 端到端流程：单阶段生成，无需预测占位符或中间网格，流程简洁高效。
- 速度惊人：在 H100 上，从图像输入到 3D 生成完成仅需 4.7 秒，其中隐式采样约 9.3 秒（含预处理），解码器前向传播小于 100 毫秒。
性能实测：全面超越 SOTA
在 Objaverse-XL、Toys4k、GSO 等数据集上的评估显示，LiTo 在多个维度上确立了新的标杆：
| 指标 | LiTo 表现 | 对比 SOTA (如 TRELLIS) |
|---|---|---|
| 外观质量 | PSNR/SSIM 显著更高，LPIPS 更低 | 视角依赖效果（高光/反射）更逼真 |
| 几何精度 | 倒角距离（Chamfer Distance）更优 | 无需粗几何先验，细节更丰富 |
| 生成保真度 | CLIP 分数更高，FID/KID 更低 | 与输入图像的光照、材质、视角完全一致 |
| 鲁棒性 | 输入视角从 150 降至 30，性能几乎无降 | 适配少视角场景，泛化能力强 |
| 效率 | 隐空间尺寸仅为同类方法 1/10 | 推理速度更快，资源占用更低 |
技术细节：如何实现视角依赖外观？
通过训练，模型学会了从这个函数中提取关键特征，并利用 3 阶球谐函数 对 3D 高斯进行参数化。这使得生成的 3D 高斯不仅能表示位置和大小，还能根据观察角度的不同呈现出不同的颜色和亮度，从而完美还原金属、玻璃等材质的物理特性。
局限性与未来展望
尽管表现卓越，LiTo 仍存在一定局限：
- 材质限制：目前仅支持 3 阶球谐函数，对于极高频的高光或完全透明材质（如复杂玻璃折射）的还原仍有提升空间。
- 数据依赖：训练依赖于多视角 RGB-D 数据，虽然推理只需单图，但训练成本较高。
未来方向：
- 结合单步流匹配（MeanFlow）进一步提速至亚秒级。
- 拓展球谐阶数以支持更复杂的透明材质。
- 优化单图直接重建能力，减少对多视角训练数据的依赖。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
