Hi3DEval

随着3D生成技术的快速发展，从单张图像生成完整3D资产（如NeRF、3DGS）的能力已显著提升。然而，一个长期被忽视的问题是：我们如何客观、准确地评估这些生成结果的质量？

当前主流方法仍依赖基于2D图像的指标（如FID、CLIP Score），在固定视角下进行打分。这类方法存在明显局限：

• 忽视空间一致性（如多视角几何对齐）
• 难以捕捉材质物理属性
• 无法定位局部结构缺陷

为解决这些问题，来自复旦大学、上海市人工智能实验室、清华大学、斯坦福大学、香港中文大学和南洋理工大学的联合研究团队提出了 Hi3DEval —— 一种专为3D生成内容设计的层次化、细粒度自动化评估框架。

该工作同时发布了配套的大规模基准数据集 Hi3DBench，并构建了融合多模态感知的自动化评分系统，在多项指标上显著优于现有方法，且与人类主观判断高度一致。

为什么需要新的3D评估标准？

现有的3D生成模型评估方式主要面临三大瓶颈：

1. 维度不匹配
   使用2D图像指标评价3D内容，本质上是“降维打分”，无法反映真实空间结构。
2. 缺乏细粒度分析能力
   多数方法只给出整体得分，难以诊断具体问题（例如“车轮变形”或“材质反光异常”）。
3. 材质评估停留在视觉美感层面
   现有指标关注“好不好看”，却忽视“像不像真实材料”，缺乏对反照率、金属感、粗糙度等物理属性的建模。

Hi3DEval 正是从这三个痛点出发，重新定义了3D生成内容的评估范式。

Hi3DEval 的核心设计

一、多层次评估协议：从整体到局部

Hi3DEval 引入了对象级 + 部件级的双层评估结构：

这种分层结构使得评估既能把握全局，又能深入细节，支持更精准的模型诊断。

二、物理感知的材质评估体系

不同于传统方法仅评估纹理“美观程度”，Hi3DEval 明确引入物理材质属性分析，通过多光照条件下的渲染序列，评估以下关键维度：

• 反照率（Albedo）：表面基础颜色是否稳定，不受光照影响
• 金属感（Metallic）：金属部件是否具备正确反射特性
• 饱和度一致性：不同光照下色彩是否自然变化
• 瑕疵与伪影：是否存在纹理撕裂、漂浮物、空洞等

这一设计使评估更贴近真实世界材料行为，而不仅仅是视觉印象。

三、Hi3DBench：大规模高质量3D评估数据集

为支撑上述评估体系，团队构建了 Hi3DBench，包含 15,300 个3D模型，覆盖多种生成模型（如Zero123、MeshStudio、LGM）和类别（动物、家具、载具等）。

关键特性包括：

• 多视角视频序列（每模型约60帧旋转视频）
• 语义部件标注（基于PartNet层级结构）
• 人类标注的质量评分（几何、材质、整体）
• 自动生成的对比样本对（用于偏好学习）

所有数据均通过严格的质量控制流程筛选，确保基准的可靠性。

四、混合3D表示的自动化评分系统

为了实现高效且贴近人类判断的自动评估，Hi3DEval 提出了一套基于混合3D表示的评分模型：

1. 视频级表示（用于对象级与材质评估）

利用生成的旋转视频，提取时空特征：

• 使用3D卷积网络建模视角连续性
• 分析光照变化下的材质响应一致性
• 捕捉动态视觉伪影（如闪烁、抖动）

2. 预训练3D特征（用于部件级感知）

引入在大规模3D数据上预训练的几何编码器（如Point-BERT），提取部件级别的形状嵌入，用于：

• 计算生成部件与标准部件之间的语义距离
• 检测局部形变、错位或缺失

3. 两阶段训练策略

• 对比学习阶段：使用人类标注的偏好对，学习排序关系
• 监督回归阶段：拟合人类打分，输出可解释的量化指标

最终模型在多个维度上实现了与人类判断的高度对齐。

实验结果：全面超越现有方法

在与主流评估指标（FID、CLIP-Score、MMD、DINO-Space 等）的对比中，Hi3DEval 表现出显著优势：

注：相关性使用Spearman秩相关系数衡量

此外，在部件级诊断任务中，Hi3DEval 能准确识别出83%以上的局部缺陷区域，为后续模型优化提供了明确方向。

多智能体标注管道 M²AP：高质量标注的保障

为生成可靠的人类偏好数据，团队提出 M²AP（Multi-Agent Annotation Pipeline），利用多个先进多模态大模型（MLLM），通过以下机制保证标注质量：

• 结构化提示工程：引导模型按维度打分（几何、材质、语义）
• 自校正机制：模型对自身初评进行复核与修正
• 交叉验证：多个代理独立评分，取一致性结果

实验证明，M²AP 生成的标注与真实人类标注的相关性高达 0.81，显著优于单模型标注。