Gufo

Gufo 是一款专门针对 AMD Strix Halo（Radeon 8060S，gfx1151）硬件深度优化的本地推理引擎，适配搭载该芯片的 Ryzen AI MAX+ 395 设备，最高支持128 GiB统一内存。项目还有两个尚未合并的分支版本：Windows移植版、支持双Strix Halo的RDMA版本。

项目定位是Strix Halo本地AI一站式工具，覆盖文本、语音、图像、视频多模态模型推理；优先挑选硬件可流畅运行的优质模型，兼顾推理质量与性能，原生支持并发请求、对话缓存、请求取消。

支持模型与基准一览

pp代表prefill预填充，tg代表token生成；测速为峰值负载，推测解码模式可加速。

快速部署

Gufo提供Podman容器方案，也支持源码编译，对外提供OpenAI兼容API，可直接接入Open WebUI、VS Code、Codex等客户端。

容器部署核心流程：

1. 下载对应GGUF模型权重
2. 拉取gufo-runtime容器镜像，挂载模型目录，映射GPU设备
3. 启动服务，默认8080端口
4. 使用curl/SDK调用 /v1/chat/completions

源码编译支持Nix与普通Linux两种方式，编译依赖ROCm HIP、hipBLAS等AMD GPU库，推荐工具链 GCC15.3 + ROCm7.2.3。

• 支持系统：Linux x86-64；Windows版本仍在开发分支
• API能力：对话补全、Responses接口，支持图文输入、函数调用、结构化输出、流式返回

项目设计理念

1. 一站式本地AI：文本、语音、图像、视频模型统一托管，面向Strix Halo社区
2. 硬件优先：深度适配128GB统一内存，内存更小设备也可运行能装入显存的模型
3. 质量优先：每个模型附带独立质量校验报告，不跨模型复用GPU内核，缩小故障范围
4. 一等公民能力：原生支持并发请求、任务取消、对话缓存
5. 精简运行依赖，开发工具与生产运行环境分离

要点小结

1. Gufo是AMD Strix Halo专用本地推理引擎，面向Ryzen AI MAX+395，最高128GB统一内存，含Windows、双机RDMA开发分支。
2. 支持Qwen3.8系列、DeepSeek V4 Flash、Qwen语音、Qwen图像、MiniMax H3多模态模型，内置推测解码加速，并发表现亮眼。
3. 提供Podman容器一键部署与Nix/CMake源码编译两种方式，对外提供OpenAI兼容API，可对接各类Agent客户端。
4. 项目主打Strix Halo社区一站式本地AI方案，在保证输出质量前提下针对AMD HIP做内核定制优化。