Garlic LLM

2小时前发布 3 00

Garlic LLM 是一个用于 PlayStation 4 的自制应用。它在主机自己的 GPU 上运行 Qwen3.5-9B,运行时无需 PC,也无需互联网。它还能听、说,并运行它编写的 Python。

所在地:
Leonardo Alegría’s
收录时间:
2026-11-16
Garlic LLMGarlic LLM

开发者 Leonardo Alegría 发布的开源项目 Garlic LLM 实现了一项令人瞩目的技术突破:在一台经过越狱的 PlayStation 4 游戏主机上,完全离线地运行拥有 90 亿参数的 Qwen3.5-9B 大语言模型。该应用无需 PC 辅助,也不依赖互联网连接,仅凭 PS4 内部 2013 年架构的 AMD GPU 和 CPU,即可实现每秒 31 到 43 个 token 的生成速度,并支持语音对话、听写及本地 Python 代码执行。

Garlic LLM

核心技术:绕过系统限制,直连“Garlic”内存

PS4 的自制程序环境并不提供标准的计算 API 或机器学习库。Garlic LLM 通过底层逆向工程,直接与硬件通信:

  • 自定义 GPU 内核:模型的核心运算(如 4 位权重的矩阵乘法、注意力机制)被编写为 OpenCL C 内核,并使用 LLVM 编译为适配 AMD Graphics Core Next (GCN) 架构的代码。
  • 手写命令缓冲区:应用自行构建底层的 PM4 数据包来调度 GPU 任务,绕过了传统图形驱动的抽象层。
  • “Garlic”内存利用:项目名称源自 PS4 对 GPU 可直接读取内存的代号“Garlic”。权重数据被存储在此类内存中,以实现高效访问。
  • 极致量化与压缩:为了将 90 亿参数塞进 PS4 有限的 8GB 共享内存中,模型采用了混合量化策略:大部分权重使用 4 位(Q4),每层最大的两个矩阵使用 3 位(Q3),注意力缓存也量化为 4 位。这使得模型总占用降至约 4.5GiB,加上语音模块后总包大小约为 5.66GB。

功能与性能表现

功能详情
文本聊天基于 Qwen3.5-9B,速度约 31–39 tokens/s,代码生成最高可达 43 tokens/s。支持 16K token 上下文。
语音交互集成 Chatterbox TTS 模型,支持英、西、葡、俄、意、法、德 7 种语言的语音回复。
语音听写集成 Parakeet TDT 0.6B v3 模型,支持 25 种欧洲语言的语音转文字。
Python 执行内置 MicroPython 解释器,可运行模型生成的简单 Python 脚本。
推测解码利用 Qwen3.5 的多 token 预测 (MTP) 头,提前起草最多两个 token,显著提升生成速度。

注:在基础版/Slim PS4 (固件 11.52) 上测试。PS4 Pro 用户报告速度在 25–45 tokens/s 之间。

安装与使用要求

  1. 硬件要求:一台已安装 GoldHEN(自制程序启用器)的 PS4 主机。建议在固件 11.52 的基础版或 Slim 机型上使用。
  2. 存储空间:需要约 6GB 可用空间用于安装,若先复制到内部磁盘则需 12GB。
  3. 安装步骤:
    • 从 Hugging Face 下载一体化 PKG 包(约 5.7GB)。
    • 通过 PS4 的“调试设置”中的“包安装器”进行安装。
    • 启动应用,首次加载模型后即可完全离线使用。

开放 API 与扩展性

Garlic LLM 还提供了一个可选的 OpenAI 兼容 API。用户可在应用内按 L3 键开启 API 服务,随后局域网内的其他设备即可通过 http://<PS4_IP>:8080/v1 调用主机上的模型。这为开发者提供了一个极低成本的本地推理节点,可用于测试智能体或轻量级应用。

意义与局限

Garlic LLM 证明了即使在十年前的消费级硬件上,通过极致的底层优化和量化技术,也能运行现代中等规模的大语言模型。它不仅是一个技术演示,更是一个完全隐私保护、去中心化的 AI 交互终端。

局限性:

  • 仅限越狱主机:需要用户自行承担安装 GoldHEN 的风险。
  • 不支持 PS5:由于专为 PS4 的 GCN 架构和系统软件编写,无法直接在 PS5 上运行。
  • 内存限制:上下文长度被限制在 16K,且无法运行更大参数的模型。

Garlic LLM 的出现,为老旧硬件的再利用和边缘 AI 计算提供了新的思路,也展示了开源社区在突破硬件封锁方面的强大创造力。

相关导航

ZenMux

ZenMux

ZenMux 是全球首个企业级模型聚合平台,提供 AI 模型保险服务。我们不仅为开发者提供统一的 API 来访问全球领先的大型语言模型,还通过智能路由算法自动选择最佳模型,并提供保险支持的 AI 输出质量保障(即将推出),全面解决企业对 AI 幻觉和输出不稳定的担忧。通过 ZenMux,开发者可以通过单一接口调用来自 OpenAI、Anthropic、Google 和 DeepSeek 等提供商的模型,同时受益于智能路由、故障转移以及保险支持的质量保障服务。