Edge0
Edge0

Edge0 最新版

官方版无广告11

Edge0 是开源流式 MoE 推理框架,主打在消费级硬件上跑大稀疏模型,覆盖 macOS、iOS、Android、Linux、Windows 多平台,提供命令行、本地 API 服务、Edge0 Chat 桌面客户端三种使用方式。

更新日期:
2026年11月13日
分类标签:
语言:
中文
平台:

263MB0 人已下载 手机查看

Edge0 正式发布其开源流式混合专家(MoE)推理框架,让大型稀疏模型能够在本地消费级硬件上高效运行。该框架支持 macOS、iOS、Android、Linux 和 Windows 等多平台,通过统一的 edge0-infer 工具链,为开发者提供命令行、本地 API 服务及桌面聊天应用等多种交互方式。最新版本的 Edge0-Strata 引擎更是实现了在单张 NVIDIA GPU 上运行 145B 和 120B 参数量的潜空间 MoE 模型。

Edge0

核心突破:145B/120B 模型的本地化部署

Edge0 的最新亮点在于其针对超大参数模型的优化能力。基于 Qwen3.8-Flash-Next 架构,Edge0-145B 和 Edge0-120B 模型采用了原生 4 位训练技术,并提供 Q3_K 和 NVFP4 两种量化格式,专为本地 Agent 任务设计。

性能表现(RTX 5090 D 24GB):

  • Agent 解码速度:121.2 tokens/s
  • 16K 上下文预填充速度:3554.9 tokens/s
模型型号参数量专家配置引擎支持推荐硬件
edge0-145b145B48层, 512专家, K=10edge0-strataLinux/Windows + NVIDIA GPU (CUDA 13)
edge0-120b120B48层, 512专家, K=10edge0-strataLinux/Windows + NVIDIA GPU (CUDA 13)
edge0-35b35B–原生引擎 (GGML)CPU / Vulkan / Metal

多平台支持与引擎架构

Edge0 采用双引擎架构以适配不同规模的模型与硬件环境:

  1. edge0-strata 引擎:专为 145B/120B 等超大模型设计,依赖 NVIDIA GPU 和 CUDA 13,目前仅支持 Linux 和 Windows 平台。
  2. 原生引擎 (基于 GGML):支持 35B 及以下模型,具备更广泛的硬件兼容性,包括 Linux/Windows 的 CPU/Vulkan,以及 macOS (Apple Silicon)、iOS 和 Android 的 Metal/CPU 支持。

注:8B 检查点已发布,但其在原生引擎上的支持仍在计划中。

Edge0

快速上手指南

1. 构建与安装

用户需分别构建 edge0-strata 引擎和 edge0-infer 工具。

git clone https://github.com/Edge0-AI/Edge0.git edge0
# 参照文档分别构建 edge0-strata 和 edge0-infer

2. 命令行运行

edge0-infer 提供统一的 serve 和 chat 命令。以运行 Edge0-145B-q3k 为例:

启动 API 服务:

build/cpu/bin/edge0-infer serve --model /path/to/Edge0-145B-q3k

服务启动后,将监听 http://127.0.0.1:8000,并提供兼容 OpenAI 和 Anthropic 的接口。

测试接口:

curl localhost:8000/v1/chat/completions \
  -H 'content-type: application/json' \
  -d '{"model":"edge0_145b","messages":[{"role":"user","content":"hi"}],"max_tokens":64}'

启动交互式聊天:

edge0-infer chat --model /path/to/Edge0-145B-q3k

3. 桌面应用 (Windows)

对于 Windows 用户,可直接从 GitHub Releases 下载 Edge0 Chat 桌面应用。打开应用后,选择对应的模型文件夹(如 Edge0-145B-q3k)即可实现零配置的本地运行。

相关软件

Aura Autopilot

Aura Autopilot - 最新版

Aura Autopilot 是一套持续学习的实时通用游戏测试系统,AI智能体可以自主探索关卡、游玩游戏,在反复运行中不断学习游戏规则、优化操作策略,替代人工完成大量游戏测试工作。