Needle

在大型语言模型日益庞大的今天，如何让 AI 真正运行在手机、手表、眼镜等资源受限的消费级设备上，一直是行业难题。Needle 是由 Cactus 团队基于 Gemini 3.1 蒸馏而成的实验性模型，参数量仅为 2600 万 (26M)。

尽管体量极小，Needle 在单次函数调用任务上展现了惊人的性能，不仅击败了 FunctionGemma-270m、Qwen-0.6B 等更大规模的模型，更在 Cactus 推理引擎上实现了 6000 token/秒 的预填充速度和 1200 token/秒 的解码速度。这意味着，你可以在自己的 Mac 或 PC 上流畅运行，甚至进行本地微调，让真正的“离线个人 AI 助理”成为可能。

核心亮点：极致轻量、极速推理、专事专用

1. 26M 参数，颠覆端侧算力认知

• 极简架构：采用“简单注意力网络” (Simple Attention Network) 设计，摒弃冗余结构，专注于核心任务。
• 资源友好：极低内存占用，可在智能手机、智能手表、AR 眼镜等低功耗设备上实时运行，无需云端依赖。
• 完全开源：模型权重及数据集生成代码已在 Cactus-Compute/needle 仓库公开，透明可审计。

2. 毫秒级响应，推理速度惊人

• 预填充速度：6000 token/秒，几乎瞬间理解用户指令上下文。
• 解码速度：1200 token/秒，生成函数调用参数如闪电般迅速。
• 本地微调：支持在消费级硬件上进行 LoRA 或全量微调，快速适配特定领域工具集。

3. 专攻函数调用，小模型大能量

• 性能越级：在单次函数调用基准测试中，Needle 的表现优于参数量大 10-20 倍的模型（如 Qwen-0.6B, Granite-350m）。
• 场景聚焦：专为个人 AI 代理 (Personal AI Agents) 设计，擅长解析自然语言并转化为精确的工具调用指令（如“设置明天早上8点的闹钟”、“查询当地天气”）。
• 局限性说明：由于参数量极小，Needle 不适合开放域对话或复杂逻辑推理，其优势在于结构化任务执行。

适用场景