TurboFieldfare

TurboFieldfare 是一款专为 Apple Silicon Mac 打造的自定义 Swift + Metal 运行时，它打破了硬件内存的限制，使得在仅配备 8GB 统一内存的设备（如 MacBook Air）上运行庞大的 Gemma 4 26B-A4B 模型成为可能。

通过创新的“流式专家加载”技术，TurboFieldfare 将运行时内存占用压缩至约 2GB，而无需将整个 14.3GB 的模型权重载入内存。这不仅让高端大模型走下神坛，进入普通用户的日常设备，更展示了针对特定架构进行深度优化的巨大潜力。

核心技术：如何用 2GB 内存跑 260 亿参数？

TurboFieldfare 并非 MLX 或 llama.cpp 的简单封装，而是从零构建的专用运行时，其核心创新在于按需流式传输：

1. 常驻核心：仅将共享的 1.35GB 核心权重（包括嵌入层、注意力机制等）和 FP16 KV 缓存保留在 RAM 中。
2. SSD 流式专家：Gemma 4 是混合专家（MoE）模型，每个 Token 仅激活约 38.8 亿参数。TurboFieldfare 利用这一点，仅从 SSD 实时读取当前 Token 所需的特定专家权重。
3. 高效 I/O 调度：CPU 规划专家 ID，通过有界并行 pread 调用填充 Metal 可见缓冲区，确保 GPU 计算不因 I/O 等待而停滞。
4. 自定义 Metal 内核：针对量化 GEMV、MoE 路由、归一化及采样等操作编写了高度优化的 Metal 着色器，最大化 Apple Silicon 的算力。

性能表现

注：吞吐量受提示长度、生成长度及页缓存状态影响。

功能组件与使用方式

TurboFieldfare 提供了一套完整的工具链，所有组件共享相同的 .gturbo 模型目录：

1. 🖥️ 原生 Mac 应用 (TurboFieldfareMac)

• 图形界面：基于 SwiftUI/AppKit 构建，提供直观的聊天体验。
• 一键安装：内置流式安装程序，直接从 Hugging Face 下载并重组模型，避免产生临时完整副本。
• 实时反馈：状态栏显示生成进度、解码速度及内存使用情况。
• 配置选项：可调整温度、Top-K/P、上下文长度及专家缓存插槽。

2. 💻 命令行工具 (TurboFieldfareCLI)

适合开发者或喜欢终端操作的用户：

# 原始补全
swift run -c release TurboFieldfareCLI \
  --model scratch/gemma4.gturbo \
  --prompt "法国的首都是" \
  --max-new 64 \
  --temperature 0

# 指令聊天 (需 JSON 消息文件)
swift run -c release TurboFieldfareCLI \
  --model scratch/gemma4.gturbo \
  --messages-file messages.json

3. 🌐 本地 OpenAI 兼容服务器 (TurboFieldfareServer)

将本地模型转化为 API 服务，方便集成到其他应用中：

.build/release/TurboFieldfareServer --model scratch/gemma4.gturbo
# 监听地址: http://127.0.0.1:8080/v1

支持函数工具声明，但不执行工具调用，需客户端自行处理。

4. 📦 模型管理 (TurboFieldfareRepack)

负责模型的下载、验证及断点续传：

# 继续未完成的下载
swift run -c release TurboFieldfareRepack \
  --output scratch/gemma4.gturbo \
  --resume

系统要求与安装

• 硬件：Apple Silicon Mac (arm64)，建议至少 8GB 内存。
• 系统：macOS 26 (Sequoia 或更新版本)，Metal 4。
• 开发环境：Xcode 26, Swift 6.2+。
• 存储空间：约 15GB 可用空间用于模型安装。

快速启动：

git clone https://github.com/drumih/turbo-fieldfare.git
cd turbo-fieldfare
swift build -c release
.build/release/TurboFieldfareMac

局限性与未来展望

• 纯文本支持：目前仅支持文本输入输出，不支持图像、音频或视频多模态能力。
• 无工具执行：虽然服务器端支持函数声明，但模型本身不执行外部工具调用。
• 单一模型：目前仅针对 Gemma 4 26B-A4B 进行了深度优化，不支持其他模型架构。
• 未来计划：开发者计划推出 iOS/iPadOS 版本，并进一步扩展对更多 Apple Silicon 硬件的基准测试与支持。