腾讯混元-3D: 首个同时支持 文生和图生的3D开源模型

腾讯正式官宣开源上线混元 3D 生成大模型 2.0,腾讯混元还同步上线混元 3D AI 创作引擎,号称是“业界首个一站式 3D 内容 AI 创作平台”。该技术宣称一句话、一张图,甚至画个草图都能生成一个 3D 模型,甚至还能加动作、换纹理、捏人物、做动画。目前,该引擎已在混元官网开放体验,感兴趣的小伙伴可以前往一探究竟。

多功能集成,3D创作从未如此简单

混元3D AI创作引擎不仅支持基础的模型生成,还具备多种强大的功能,包括3D动画制作、草图生成3D模型、3D人物生成以及3D小游戏创作等。例如,你可以将人形3D模型绑定骨骼,快速生成各种动作的动画,轻松实现创意表达。

此外,引擎还支持3D生成工作流的设计。用户只需输入提示词或上传图片,调整生成参数,就能一键生成具有特定风格和特征的3D资产。这一功能大大降低了专业用户的使用门槛,同时也提升了3D创作的整体效率。

技术升级,性能更强大

混元3D AI创作引擎基于腾讯混元3D生成大模型2.0版本。相较于去年发布的1.0版本,2.0版本在3D模型生成效果上有显著提升,几何结构更加精细,纹理色彩也更加丰富。生成的模型支持主流3D模型格式文件(如glb、fbx、obj),方便用户在不同场景中使用。

根据CLIP Maximum Mean Discrepancy (CMMD)、Frechet Inception Distance (FID)和CLIP-score等专业指标评估,混元3D生成大模型2.0的整体表现处于业界领先梯队。目前,2.0版本已经开源,开发者可以在GitHub、Hugging Face等技术社区下载并使用该模型。

Hunyuan3D 2.0:架构与性能亮点

Hunyuan3D 2.0是一个先进的大规模3D合成系统,能够生成高分辨率的带纹理3D资产。它包含两个核心组件:大规模形状生成模型Hunyuan3D-DiT和大规模纹理合成模型Hunyuan3D-Paint。

  • 形状生成模型:基于可扩展的基于流的扩散Transformer架构,能够生成与给定条件图像精确对齐的几何形状,为后续应用奠定坚实基础。
  • 纹理合成模型:借助强大的几何和扩散先验知识,为生成或手工制作的网格生成高分辨率且色彩鲜艳的纹理贴图。

此外,腾讯还推出了Hunyuan3D-Studio,这是一个多功能、用户友好的生产平台,能够简化3D资产的重新创建过程。无论是专业用户还是业余爱好者,都可以轻松上手,甚至为其网格添加动画效果。

在性能方面,Hunyuan3D 2.0采用了两阶段生成流程:先生成基础网格,再合成纹理贴图。这一策略有效解耦了形状和纹理生成的难度,为生成或手工制作的网格提供了灵活的纹理处理能力。经过系统评估,Hunyuan3D 2.0在几何细节、条件对齐、纹理质量等方面均优于之前的最先进模型,包括开源和闭源模型。

0

评论0

没有账号?注册  忘记密码?