SperidLabs 推出 Idol:单图极速生成 3D 高斯泼溅,消费级显卡 2 秒出结果,补全不可见侧面

3D模型2周前更新 小马良
33 0

speridlabs 近期推出了 Idol,一款高效的单张图像到 3D 高斯泼溅(3D Gaussian Splatting, 3DGS)生成模型。该工具能够将单张物体图片(包括照片、渲染图或 AI 生成图像)快速转化为可旋转、多细节级别的 3D 对象模型,并智能推断出图像中未展示的侧面。

  • 项目主页:https://speridlabs.com/research/idol
  • GitHub:https://github.com/speridlabs/idol-sdk
  • 模型:https://huggingface.co/speridlabs/idol
  • Demo:https://huggingface.co/spaces/speridlabs/idol
  • ComfyUI:https://huggingface.co/Comfy-Org/Idol
  • 工作流:https://github.com/Comfy-Org/workflow_templates/blob/main/templates/3d_triposplat_image_to_gaussian_splat.json
SperidLabs 推出 Idol:单图极速生成 3D 高斯泼溅,消费级显卡 2 秒出结果,补全不可见侧面

核心特性与技术亮点

  • 极速单图 3D 重建:用户只需输入一张图像,Idol 即可自动完成背景移除(基于 BiRefNet)和主体框定,并在不到 2 秒的时间内生成完整的 3D 高斯泼溅模型。
  • 智能侧面推断:模型具备强大的先验知识,能够合理生成并补全输入图像中从未展示过的物体侧面,确保 3D 模型的完整性。
  • 多细节级别输出:支持灵活调整生成的精细度,高斯点数量可在 32,768 到 1,048,576 之间选择(默认 262,144),最终输出标准的 3DGS .ply 文件格式,便于下游应用直接调用。
  • 极低的硬件门槛:专为消费级硬件优化,整个推理过程仅需约 7.2 GB VRAM(低于 8 GB),使得普通游戏显卡即可流畅运行。
SperidLabs 推出 Idol:单图极速生成 3D 高斯泼溅,消费级显卡 2 秒出结果,补全不可见侧面

模型架构与技术规格

Idol 采用了轻量且高效的混合架构,总参数量仅为 0.66B(6.6 亿),具体组件如下:

  • 图像特征提取:结合 DINOv3 ViT-H+ 与 FLUX.2 VAE,精准捕捉输入图像的深层语义与视觉特征作为条件引导。
  • 核心生成模块 (DiT):采用 370M 参数的 Diffusion Transformer 架构进行 3D 表征的生成。
  • 解码器:288M 参数,负责将隐空间表征高效解码为最终的高斯属性。
  • 采样策略:使用 Euler 采样器,设定为 50 步,无分类器引导(CFG)比例为 3.0,时间偏移(Time Shift)为 3.0,以平衡生成速度与质量。

应用价值

Idol 的出现大幅降低了 3D 资产创建的门槛与时间成本。无论是游戏开发中的快速原型制作、电商产品的 3D 展示,还是 VR/AR 内容的快速构建,开发者都能以极低的算力成本,将现有的 2D 图像资产快速转化为高质量的 3D 高斯模型。

akhaliq推出 Idol Turbo,是原版Idol单图转3D高斯泼溅(3DGS)模型的蒸馏少步提速版本,大幅压缩采样开销。

  • Idol Turbo:https://huggingface.co/akhaliq/idol-turbo

原版Idol需要50步带CFG引导采样,Idol Turbo仅需5步无引导采样,网络评估次数从50次降到5次,NFE减少20倍,在H200显卡上耗时约0.75秒,4步版本最快0.66秒。

SperidLabs 推出 Idol:单图极速生成 3D 高斯泼溅,消费级显卡 2 秒出结果,补全不可见侧面

它采用Glance风格相位LoRA蒸馏方案:两个rank-32低秩专家,Slow-LoRA负责高噪声阶段、Fast-LoRA负责低噪声阶段(t=0.5切换),把CFG引导效果直接内化进LoRA权重,基础模型本身保持不变,可训练参数仅2940万。

v5版本训练数据集升级为93张多样单物体图像、合计4650条50步CFG 3.0教师轨迹,共2000步训练,单张H200训练耗时约25分钟,改善了早期版本对训练外物体泛化差的短板。

适配ComfyUI:和原Idol的TripoSplat工作流兼容,LoRA键对齐,预缩放至强度1.0。采样推荐CFG=1.0,有两种使用方案:

  • 两阶段完整保真方案:前4步用slow LoRA,t=0.5切换fast LoRA;
  • 简易方案:全程只用slow LoRA,代价是末尾细节略弱。

性能与取舍:

在4–6步区间优势最明显,普通短步采样容易出现色彩丢失、结构崩坏,Idol Turbo可以稳住色彩和物体结构;8步以上两者质量差距缩小,少于4步都会明显退化。

短板:相比50步原版教师模型,部分生成结果偏柔和;4步时颜色容易偏暖,高饱和物体鲜艳度略降。

训练集以单物体渲染图为主,更适合这类输入场景。

© 版权声明

相关文章