Contra Labs 发布 Frontier Design Benchmark:隐身模型Gestalt盲测登顶,偏好分超过人类设计师作品

36分钟前 小马良
2 0

Contra Labs 在当地时间11月18日推出全新AI设计评测榜单 Frontier Design Benchmark,一款代号Gestalt、处于隐身开发(Stealth)状态的匿名模型成为本次评测最大黑马。在专业设计师双盲偏好测试里,Gestalt 优势明显,超越 Claude Fable 5.2、GPT-6.1 Sol 等主流模型,甚至在设计师偏好投票上胜过人类设计师参考作品。

Contra Labs 发布 Frontier Design Benchmark:隐身模型Gestalt盲测登顶,偏好分超过人类设计师作品

Gestalt 的 Elo 分数为1931,胜率90%,位列榜单第一名;第二名是人类参考作品 Human golden,Elo 1739、胜率74%;Claude Fable 5.2 以1713分排第三,GPT-6.1 Sol 1668分排在第五。

本次评测由 Contra Labs 和 BenchFlow 联合打造,测试内容贴近真实商业设计需求,并非简单的提示词生成任务。整套评测包含33项任务,27项改编自 Contra 平台真实设计委托,另外6项来自创业合作项目。共有35名专业设计师参与,经过5轮盲测,累计收集4311张对比投票。

Contra Labs 发布 Frontier Design Benchmark:隐身模型Gestalt盲测登顶,偏好分超过人类设计师作品

评测一共使用三类评估维度:设计师双盲偏好投票、设计质量评分标准(Design Critique Rubric)、AI痕迹检测器 Slop Detector。Elo 分基于两两对比结果计算,综合考量色彩、字体、布局、可用性以及是否贴合任务需求。在 Gestalt 和人类作品的直接对决中,28组对比里有20组,设计师选择了Gestalt。

值得注意的是,偏好结果不等于全面碾压:按设计质量评价体系打分,Gestalt 为83分,Claude Fable 5.2、Claude Opus 5.5 同为84分,人类参考作品74分。Contra Labs 解释,审美偏好和标准化执行质量是两回事,人类作品虽然有可明确指出的瑕疵,但依然更容易获得设计师偏好。

AI痕迹检测上 Gestalt 同样亮眼,生成内容的AI特征评分接近人类作品,分数越低代表越不容易看出是AI产出。截至目前,Gestalt 的开发方、模型架构、具体身份都没有对外披露,仅标记为 Stealth,背后团队仍未知。