Cactus推出Needle 2：14MB 的极致轻量的端侧工具调用模型

在 AI 模型日益庞大的今天，Cactus 推出了 Needle 2，一款仅重 14MB、运行内存仅需 28MB 的开源小模型。它专为工具调用、设备控制和结构化数据提取而设计，以极致的轻量化和自包含架构，为嵌入式设备、移动端应用及低延迟场景提供了全新的解决方案。

• GitHub：https://github.com/cactus-compute/needle
• 模型：https://huggingface.co/Cactus-Compute/needle2

核心亮点：小而美的工程奇迹

• 📦 极致轻量与自包含：
  整个模型（权重 + 推理引擎）被压缩并烘焙进一个单一的 14MB 二进制文件中。采用 CQ2 位量化（Cactus Quants），精度虽为 2 位，但在工具调用基准测试中表现与 FunctionGemma 270M、LFM2.5 230M 等 f16 精度的小模型互有胜负，而体积仅为它们的 1/5 到 1/70。
• 🔒 离线隐私与安全：
  推理过程完全在本地进行，无需任何网络通信。权重内置于引擎中，无需管理额外的模型文件，真正实现了“下载即运行”。
• 🎯 结构化输出与语法约束：
  模型严格遵循用户定义的 JSON Schema，通过字节级语法约束每个 Token 的生成，确保输出永远是合法的结构化数据，彻底告别解析错误。
• 🛡️ 置信度门控与工具检索：
  • 置信度评分：每个响应都附带校准后的置信度分数。开发者可设置阈值，高置信度自动执行，低置信度则升级至大模型或人工处理。
  • 智能检索：面对大型工具库，内置检索头每轮仅动态呈现最相关的 Top 5 工具，并将语法约束限制在该子集内，大幅降低幻觉风险。
• 💾 有界内存管理：
  采用 256 Token 滑动窗口，并将工具描述作为固定的 KV 接收器。无论对话持续多久，总内存占用始终稳定在 28MB 左右，非常适合资源受限的环境。

技术底座：Simple Attention Network (SAN)

Needle 2 基于 Cactus 最新的 Simple Attention Network 研究构建，其架构设计极具创新性：

1. Hadamard MLP：用正交 Walsh-Hadamard 变换替代传统的全连接层（FFN），以 $O(n \log n)$ 的时间复杂度实现高效计算，且无需读取额外权重。
2. GQA 注意力与 Engram KV 记忆：结合分组查询注意力（GQA）和基于哈希 n-gram 表的 Engram 记忆机制，提升了长上下文下的信息检索效率。
3. 多通道超连接：每个块携带独立的更新规则，通过 Sinkhorn 迭代计算双随机归一化的路由 logits，实现更精细的特征融合。
4. 三明治归一化与门控：注意力和 MLP 残差均经过严格的归一化和输入依赖的门控控制，确保了训练的稳定性与推理的鲁棒性。

适用场景

• 智能家居与 IoT 设备：在低功耗芯片上实现语音指令的设备控制。
• 移动端 App：在不增加安装包体积的前提下，提供本地的结构化信息提取能力。
• 边缘计算网关：在数据源头进行初步的工具调用决策，减少云端负载。
• 隐私敏感应用：所有数据处理均在本地完成，无泄露风险。