DiffuSpace 开源 Clover-35B-A3B-Preview:MoE 扩散语言模型,Agent 编码强于同规模自回归模型

人工智能实验室 DiffuSpace 正式开源其 Clover(三叶草)系列模型的首个成员:Clover-35B-A3B-Preview。该模型采用混合专家(MoE)架构的扩散语言模型设计,总参数量 350 亿,激活参数 30 亿,基于 Apache 2.0 许可协议开放。

  • HuggingFace:https://huggingface.co/Diffuspace/Clover-35B-A3B-Preview
  • GitHub:https://github.com/DiffuSpace/Clover-35B-A3B-Preview
  • ModelScope:https://modelscope.cn/models/Diffuspace/Clover-35B-A3B-Preview
  • 申请在线体验:https://chat.diffuspace.ai

与传统自回归模型逐词生成的机制不同,该模型通过多轮迭代实现从模糊到具体的“全局思维”生成。测试数据表明,在更大参数规模下,扩散语言模型能够在保持生成速度优势的同时,在多项基准测试中超越同规模的自回归模型。

DiffuSpace 开源 Clover-35B-A3B-Preview:MoE 扩散语言模型,Agent 编码强于同规模自回归模型

核心架构与基准测试表现

Clover-35B-A3B-Preview 在智能体编程与工具使用任务中展现出明确优势。在六项 Agent 评测中,其得分均优于同尺寸的 Qwen3.6-35B-A3B 与 Qwen3.5-35B-A3B,以及 LLaDA2.2 flash 和 Mercury 2.5 等扩散模型。

具体评测数据如下:

  • 智能体任务:SWE-bench Verified 达到 73.6,Terminal-Bench 2.1 达到 51.7,τ³ Overall 达到 65.3。
  • 通用能力:GPQA Diamond 达到 83.8,ZebraLogic 达到 95.8,AA-LCR 达到 72.0。

在推理效率方面,模型在单张 NVIDIA GB300 GPU(BF16 精度,batch size = 1)的内部 Agent 场景测试中,整体生成速度达到 680 tokens/s。在单张 NVIDIA H200 GPU 上,其 Agent 任务生成速度为 515 tokens/s,高于采用 DFlash2 加速方案的 365 tokens/s。

DiffuSpace 开源 Clover-35B-A3B-Preview:MoE 扩散语言模型,Agent 编码强于同规模自回归模型

块扩散与门控 Delta 网络重构

模型的高速与高性能源于对块扩散(Block Diffusion)机制下门控 Delta 网络(GDN)的结构性重构。具体技术改进包括:

  • 双向门控设计:已生成的上下文通过 GDN 的递归状态进行高效压缩,当前块内的 token 则通过双向 Softmax 注意力进行细粒度交互。
  • 独立信息单元:将历史记忆的读出作为独立信息单元,与块内 token 在同一次 Softmax 中共同参与信息选择,使模型能自主决定依赖历史还是当前块。
  • 块大小校准:引入可学习的块大小校准机制,补偿块内 token 增多时对历史权重的天然稀释。
  • 局部特征提取:为右侧上下文设置独立且零初始化的卷积分支,使模型能从预训练的因果卷积行为出发,分别学习左右方向的特征。

端侧部署与智能体场景验证

在资源受限的端侧环境中,Clover 已成功在配备 16GB 显存的 NVIDIA RTX 5070 Ti 上实现 INT4 量化部署。在 MATH-500 测试中,其生成速度达到 101.8 tokens/s,显著高于同规模 MiniCPM 与 Qwen 模型的 48.5 tokens/s。

在实际智能体任务演示中,模型展现了并行生成与快速反馈的优势:

  • 路径规划:在复杂地图检索任务中,Clover 用 28 步、169.9 秒完成任务;对比模型 Qwen3.6 Flash 用满 30 步耗时 578.3 秒,且未准确定位目标。
  • WebMCP 业务操作:在连续完成开票、注册等 49 项任务的评测中,Clover 的 Agent 执行耗时中位数为 1.52 秒,低于 Gemini3.6 Flash 的 8.86 秒。
  • 复合报文解析:在城市无人机调度场景中,Clover 在 0.97 秒内并行解析并呈现五项正确结果;对比模型耗时 3.78 秒且出现任务意图解析错误。

决策模型联合生成模式

随本次发布,DiffuSpace 推出了面向快速结构化判断的 Clover 决策模型。该模型支持两种作答方式:

  • 独立模式:逐题调用,适合孤立或常规的快速判断。
  • 联合模式:将同一材料下的多个问题(最多 8 个)放在同一次去噪过程中并行生成。

联合模式通过“全局统筹”减少了重复读取材料的开销,并避免了关联判断中的逻辑冲突。在包含 2420 道关联问题的内部验证中,联合模式答对了 95.0% 的问题,且在 80.4% 的问题组中实现全对。相比之下,同一模型的独立模式准确率为 89.8%,开源模型 TypeSafe Jev 为 63.6%。

生态合作与后续规划

在应用生态方面,DiffuSpace 与 SigmaZ 达成 GenUI 方向的独家合作,已将模型能力应用于教育场景的 3D 交互式科普页面(如细胞能量工厂、日月食成因演示)。团队计划通过联合后训练,将 token 吞吐量提升至 2000 tokens/s,以支持更通用的实时交互。

下一步,DiffuSpace 将继续推进扩散语言模型的规模化与多模态能力拓展,优化长程任务稳定性与量化适配。同时,团队正在开发智能体运行框架(harness)与编程客户端,以打通需求输入、工具调用与结果查看的完整工作流。

© 版权声明

相关文章