AMD推出专为本地运行大语言模型(LLM)设计的应用GAIA。它通过混合硬件方法,利用 Ryzen-AI PC 中的 AMD 神经处理单元(NPU)和集成图形处理单元(iGPU),实现基于 LLM 的应用程序的快速高效运行。GAIA 针对锐龙 AI 300 系列处理器进行了优化,标志着 AMD 在边缘计算领域的又一重要布局。

核心技术与架构
混合硬件加速
GAIA 的核心优势在于其混合硬件加速能力。它能够充分利用 AMD Ryzen AI 300 系列处理器中的 NPU 和 iGPU,实现 AI 任务的高效处理。从 Ryzen AI 软件版本 1.3 开始,GAIA 支持量化模型在 NPU 和集成显卡间的混合部署,进一步提升了性能和能效。
基于 ONNX TurnkeyML 的 Lemonade SDK
GAIA 的核心组件基于 ONNX TurnkeyML 的 Lemonade SDK 开发,采用检索增强生成(RAG)技术框架。通过本地向量索引,GAIA 能够实现对 YouTube、GitHub 等外部数据的实时检索与分析,为用户提供更丰富的信息支持。

系统工作流
GAIA 的系统工作流包含三大模块:
- LLM 连接器:负责与主流语言模型(如 Llama、Phi 等)的连接和交互。
- LlamaIndex RAG 管道:实现检索增强生成,提升生成内容的相关性和准确性。
- 代理 Web 服务器:提供与外部数据源的接口,支持实时数据检索。
四大 AI 智能体
GAIA 提供了四大 AI 智能体,满足不同使用场景的需求:
- Chaty:支持历史对话的聊天机器人,适合日常交流和信息查询。
- Clip:YouTube 视频搜索与问答专家,能够快速检索和分析视频内容。
- Joker:具备幽默风格的笑话生成器,为用户带来轻松一刻。
- Simple Prompt:模型直接交互测试工具,方便开发者进行模型调试和测试。

安装与使用
安装方案
AMD 提供了普通版与混合版两种安装方案:
- 普通安装包:兼容任意 Windows PC(含非 AMD 硬件设备),通过 Ollama 后端实现跨平台支持。
- 混合安装包:专为配备锐龙 AI 300 系列处理器的设备进行优化,可智能分配 NPU 与集成显卡的计算负载。
安装步骤
- 检查系统要求:确保您的系统满足最低要求。
- 下载安装程序:从 GitHub 的“Assets”部分下载 GAIA 安装程序的最新版本。
- 运行安装程序:解压下载的文件,双击
.exe
文件运行安装程序。 - 完成安装:按照屏幕上的指示完成安装,安装过程通常需要约 5-10 分钟。

注意事项
- 在使用混合模式运行 GAIA 时,请确保在设备管理器中禁用任何第三方独立 GPU。
- 如果出现 Windows 安全警告,可以通过点击“更多信息”然后选择“仍要运行”来验证应用程序。
- 安装程序默认会尝试写入同一目录,可能会覆盖之前的 GAIA 安装。如果想避免这种情况,请更改目标目录。
卸载步骤
目前 GAIA 尚无自动卸载程序,您需要手动从系统中删除 GAIA:
- 关闭所有正在运行的 GAIA 实例(包括 CLI 和 GUI)。
- 从
AppData
中删除 GAIA 文件夹。 - 从缓存文件夹中删除模型文件。
- 删除桌面快捷方式。
功能与优势
本地化处理
GAIA 支持在本地 Windows 设备上运行强大的语言模型,无需依赖云端。这确保了医疗、金融等敏感行业数据的隐私和安全,同时将响应延迟降低至毫秒级,相比云端方案缩短了 40-60%。
优化性能
通过 NPU 专用架构,GAIA 实现了每瓦性能的提升,支持离线环境运行。这不仅提高了 AI 特定任务的性能,还降低了能耗。
易用界面
GAIA 提供命令行界面(CLI)和图形用户界面(GUI)两种选项,便于用户与模型和代理进行交互。无论是技术开发者还是普通用户,都能轻松上手。
可扩展架构
GAIA 支持多种使用场景,从基础聊天到 RAG 增强应用程序和专用代理。用户可以轻松构建和集成自己的代理和使用场景,满足不同行业的需求。
未来展望
尽管 GAIA 目前暂不支持 Linux/macOS 系统,但 AMD 官方文档透露未来可能扩展多平台支持。此外,AMD 鼓励开发者贡献自定义代理模块,目前已有多个行业定制化代理处于开发阶段。
入门指南
运行 GAIA GUI
检查桌面上的 GAIA-GUI 图标,双击以启动 GUI。首次启动 GAIA 时,可能需要几分钟时间。您可能还需要从 Hugging Face 下载最新的 LLM 模型。GAIA 将自动处理此过程,但可能需要 Hugging Face 令牌以进行访问。
运行 GAIA CLI
要通过命令行快速开始使用 GAIA,您可以使用 GAIA CLI(gaia-cli)工具。双击 GAIA-CLI 图标并运行 gaia-cli -h
以查看帮助详情。如需更多信息和示例,请参阅 gaia-cli 文档。
系统要求
Ryzen AI 混合 NPU/iGPU 执行
- 系统:Asus ProArt PX13/P16、HP Omnibook 或类似配备 Ryzen AI 9 HX 370 或更高版本的 PC 系统。
- 操作系统:Windows 11 专业版/家庭版。
- 处理器:AMD Ryzen AI 9 HX 370 搭配 Radeon 890M,2000 Mhz,12 核心,24 逻辑处理器。
- AMD Radeon 890M iGPU 驱动程序:32.0.12010.8007 和 32.0.12033.1030。
- AMD NPU 驱动程序:32.0.203.237 或 32.0.203.240。
- AMD Adrenalin 软件:从 AMD 官方网站安装最新版本。
- 物理内存:最低 16GB,推荐 32GB。
通用模式
- 操作系统:任何满足 Ollama 系统要求的 Windows电脑
注意事项
- 对于混合模式,NPU 驱动程序 32.0.203.242 不兼容,请将驱动程序回退至 32.0.203.240。您可以通过设备管理器 -> 神经处理器 -> NPU 计算加速器设备 -> 右键属性 -> 驱动程序选项卡 -> 驱动程序版本 检查您的驱动程序版本。
依赖项
GAIA 安装程序将自动设置大多数依赖项,包括:
- Python 3.10
- Miniconda(如果尚未安装)
- FFmpeg
- Ollama(仅限通用模式)
- 所有必需的 Python 包
GAIA 为本地 PC 提供了一个强大且灵活的生成式 AI 解决方案,通过混合硬件加速和优化的系统架构,为用户带来了高效、安全的 AI 运行体验。无论是开发者还是普通用户,都能通过 GAIA 实现丰富的 AI 应用场景。