Lily

Perplexity 正式开源了 Lily，这是其内部产品 Perplexity Computer 中“混合计算（Hybrid Compute）”背后的核心本地推理引擎。Lily 是一个基于 Rust + Metal 构建的单进程运行时，专门针对 Qwen3.6-35B-A3B 模型在 Apple Silicon 硬件上的性能进行了极致优化。与通用的 MLX 框架不同，Lily 摒弃了 PyTorch 和 MLX，通过手写 Metal 内核和狭窄的专注度，实现了显著的速度提升。

核心亮点：为何选择“狭窄”？

Lily 的设计哲学是牺牲通用性以换取极致性能。它只支持一个模型（Qwen3.6-35B-A3B）和一个硬件家族（Apple Silicon），从而能够深入底层进行针对性优化：

• 纯 Rust + Metal 架构：执行路径中完全移除了 PyTorch 和 MLX 的开销，由 Rust 层管理生命周期，Metal 内核执行计算。
• OpenAI 兼容 API：提供最小化的 HTTP API，支持流式文本生成，易于集成。
• 4 位量化高效运行：19.4 GB 的检查点（原 bf16 约 70 GB）可在配备 32 GB 或更多统一内存的 Mac 上流畅运行。

性能表现：全面超越 MLX-LM

在 40 核、128 GB 的 M5 Max MacBook Pro 上，Lily 与最快的 MLX-LM 直接生成路径相比，展现了压倒性的优势：

精度无损：教师强制检查显示，Lily 的困惑度仅高出 0.04%，96.35% 的情况下首选令牌与参考实现完全一致。

关键技术突破

1. 预填充优化：GPU 驻留与融合计算

• 融合反量化 GEMM：在分组 GEMM 内部直接完成 4 位权重的反量化，结果保留在线程组内存中并在 FP32 中累积，避免中间数据写入统一内存。此举使 512 令牌提示下的预填充速度提升 77.4%。
• GPU 驻留 MoE 路由：将路由直方图、前缀扫描和块映射全部保留在单个 GPU 命令缓冲区中，消除 CPU-GPU 同步开销，提升 89%。

2. 解码优化：带宽最大化与依赖重叠

• GQA 打包：利用分组查询注意力（GQA）特性，让四个查询头共享线程组，每个 KV 行仅加载一次，在 32K 上下文下提升解码速度 23.8%。
• 固定块注意力布局：针对长上下文（32K+）采用固定块布局，在 128K 上下文下提升解码速度 40.2%。
• 消除 CPU 往返：选中的令牌直接写入下一步的 GPU 输入槽，并通过并发 Metal 通道重叠独立内核执行，大幅降低延迟。

部署要求

• 硬件：Apple Silicon Mac（M 系列芯片）。
• 内存：最低 24 GB（官方 Hybrid Compute 产品要求），推荐 32 GB 或更高以容纳 19.4 GB 的检查点及 KV 缓存。
• 系统：macOS 15+。
• 代码仓库：pplx-garden（包含独立演示服务器）。