百度开源 ERNIE-Image:8B 参数打造开源文生图新标杆,精准文本渲染与结构化生成能力卓越

图像模型6个月前发布 小马良
303 0

百度 ERNIE-Image 团队正式开源了其最新文生图模型 ERNIE-Image。该模型基于单流扩散变换器(DiT)架构,拥有 80 亿(8B)参数,并配备一个轻量级的 3B 提示增强器(Prompt Enhancer)。

  • 官方介绍:https://yiyan.baidu.com/blog/posts/ernie-image
  • 提示词案例:https://ernieimageprompt.com
  • 模型:https://huggingface.co/collections/baidu/ernie-image
  • GGUF:https://huggingface.co/unsloth/ERNIE-Image-GGUF
  • Demo:https://huggingface.co/spaces/baidu/ERNIE-Image-Turbo
  • AI Studio Demo:https://aistudio.baidu.com/ernieimage

尽管参数量相对紧凑,ERNIE-Image 在多项权威基准测试中击败了众多更大规模的开源甚至闭源模型,尤其在复杂指令遵循、多语言文本渲染(中英文)以及结构化图像生成(如海报、漫画分镜)方面表现突出,成为当前开源权重模型中的性能佼佼者。

百度开源 ERNIE-Image:8B 参数打造开源文生图新标杆,精准文本渲染与结构化生成能力卓越

核心亮点

1. 小参数,大能量:SOTA 级性能

  • 高效架构:仅凭 8B DiT 参数,ERNIE-Image 在 GenEval(组合生成)、OneIG(开放域生成)和 LongTextBench(长文本渲染)等基准上均位列前三。
  • 开源最强:在所有开源权重模型中,ERNIE-Image 的综合性能排名第一,证明了其极高的参数效率。
  • 媲美闭源:在文本对齐和推理能力上,与 Nano Banana 2.0、Seedream 4.5 等领先闭源模型正面竞争且不落下风。

2. 精准的文本渲染能力

  • 多语言支持:擅长在图像中生成可读、忠实于原文的中文和英文文本。
  • 复杂布局:能够处理密集段落、对布局敏感的标题、标注注释以及动漫对话气泡,解决了传统扩散模型“乱码”或“拼写错误”的痛点。
  • LongTextBench 高分:在长文本渲染保真度测试中排名第二(平均分 0.9733),远超多数竞品。

3. 强大的结构化与指令遵循

  • 复杂构图:特别擅长生成具有清晰布局的图像,如电影海报、网页设计稿、多图组合及漫画故事板。
  • 多对象关系:能准确理解并描绘多个物体之间的空间位置、颜色属性和计数关系(GenEval 总体得分 0.8856,开源第一)。
  • 叙事连贯性:在生成序列视觉内容时,能保持角色表情、动作和场景转换的一致性。

4. 丰富的风格与易用性

  • 多样美学:支持从干净的图形设计、逼真的摄影到柔和的电影感色调等多种风格。
  • 消费级硬件友好:得益于 8B 的紧凑规模,可在 24GB 显存的消费级显卡(如 RTX 3090/4090)上运行,降低了研究和生产部署的门槛。
  • 提示增强器(PE):内置 3B 小模型,可将用户简短的输入自动扩展为结构丰富、细节详细的提示词,显著提升生成质量,尤其适合非专业用户。

基准测试表现

GenEval(组合生成能力)

模型单对象两对象计数颜色位置属性绑定总体
ERNIE-Image (w/o PE)1.00000.95960.77810.92820.85500.79250.8856
Qwen-Image0.99000.92000.89000.88000.76000.77000.8683
FLUX.2-klein-9B0.93130.95710.82810.91490.71750.74000.8481

注:ERNIE-Image 在总体得分上位居榜首,尤其在单对象、颜色和位置关系上表现完美或接近完美。

LongTextBench(文本渲染保真度)

模型LongText-Bench-ENLongText-Bench-ZH平均
Seedream 4.50.98900.98730.9882
ERNIE-Image (w/ PE)0.98040.96610.9733
GLM-Image0.95240.97880.9656

注:在中英文长文本渲染上均保持极高水准,综合得分仅次于顶级闭源模型。

快速开始与推荐配置

为了获得最佳生成效果,建议使用以下参数:

  • 分辨率:支持多种比例,推荐 1024x1024, 848x1264 (竖版), 1264x848 (横版) 等。
  • 引导尺度 (Guidance Scale):1.0
  • 推理步数 (Steps):8 (极速生成,兼顾质量)

提示增强器 (Prompt Enhancer) 的作用

  • 输入:简短提示,如 “一张赛博朋克风格的海报,标题是未来城市”。
  • 输出:结构化详细提示,包含光影描述、字体建议、背景细节等。
  • 效果:显著提升复杂任务(如海报、动漫分镜)的指令遵循度和视觉完整性。
© 版权声明

相关文章