PrismML发布Ternary Bonsai 2三元量化模型：2B/4B/9B三款，基于Qwen3.5，面向端侧本地Agent

PrismML 扩展Bonsai 2模型家族，推出Ternary Bonsai 2 2B、4B、9B三款三元量化模型，基于Qwen3.5基座开发，搭配此前已发布的Bonsai 2 27B，为端侧本地AI智能体提供不同尺寸选型，主打低内存占用，适配PC、手机、智能眼镜等日常设备。

• 模型：https://huggingface.co/collections/prism-ml/bonsai-2-small
• Demo：https://prismml-eng.github.io/Talk

核心技术：三元权重编码

模型采用三元表示，权重仅使用{-1, 0, +1}三个值存储：

• 2B：体积0.43GB
• 4B：体积0.95GB
• 9B：体积2GB
  相比全精度原版模型，体积缩小9倍以上。
  开发重点优化指令遵循、抑制循环重复、控制输出长度，强化移动端工具调用能力；9B版本在本地助手场景，完成相同日常任务消耗token相比原版减少约40%。

基准评测表现

在覆盖Agent工具调用、数学、指令遵循、编码、知识推理、视觉6大方向合计19项基准测试，对比原生Qwen3.5基线：

• 指令遵循、编码、数学部分项目得分甚至高于原版模型；
• 代理工具调用、视觉OCR、知识推理能力大部分维持在原版90%左右的能力保留率。

推理性能与设备实测

• RTX 4090、M5 Pro：最高可达全精度模型5倍吞吐量，3倍能效提升；M5 Max Pro上，9B可达179 token/s，2B可达310 token/s。
• iPhone 18 Pro Max：9B最高34 token/s，2B最高120 token/s。
  模型适配电池供电的移动与可穿戴硬件，降低时延与功耗，适合本地智能体连续多轮工具调用。

运行平台与开源信息

• 推理后端：NVIDIA GPU支持llama.cpp；苹果Mac/iPhone/iPad支持MLX。
• 许可协议：Apache 2.0，权重现已开放。
• 在线试用：console.darkbloom.dev可体验Bonsai 2 9B，前100名用户赠送2.5亿免费token。
• 落地方向：构建本地助手，实现文档提取、本地文件处理、多步骤工具工作流；此前团队已在骁龙AR1 Gen1智能眼镜演示1bit版本Bonsai视觉模型。