OpenJarvis最新版

OpenJarvis 是一款聚焦设备端部署的AI框架，核心目标是让个人AI助手默认运行在自有硬件上，仅在必要时调用云端API，彻底摆脱对第三方服务器的依赖。

• 官网：https://scalingintelligence.stanford.edu/blogs/openjarvis/
• GitHub：https://github.com/open-jarvis/OpenJarvis
• 文档：https://open-jarvis.github.io/OpenJarvis

核心优势：本地优先，兼顾效率与成本

OpenJarvis 诞生的核心背景是，本地大语言模型已具备处理88.7%单轮对话与推理查询的能力，且2023-2025年智能效率提升5.3倍，硬件与模型已足够支撑本地化部署。

该框架围绕三大核心理念构建：

• 提供构建设备端智能体的共享原语，模块化设计易扩展；
• 将能耗、计算量、延迟、资金成本与准确性同等纳入评估体系；
• 基于本地交互数据形成学习循环，持续优化模型效果。

快速安装与上手（Python 3.10+环境）

1. 基础安装

# 克隆仓库
git clone https://github.com/open-jarvis/OpenJarvis.git
cd OpenJarvis
# 仅安装核心框架
uv sync
# 如需FastAPI服务器（支持API调用）
uv sync --extra server

2. 搭配Ollama快速体验（推荐新手）

# 初始化配置（自动检测硬件）
uv run jarvis init

# 安装并启动Ollama推理后端
curl -fsSL https://ollama.com/install.sh | sh
ollama serve

# 下载模型（以通义千问8B为例）
ollama pull qwen3:8b

# 简单提问测试
uv run jarvis ask "法国的首都是哪里？"

# 诊断配置/连接问题
uv run jarvis doctor

注：除Ollama外，还支持vLLM、SGLang、llama.cpp等推理后端，jarvis init会自动推荐适配硬件的最优引擎。

桌面应用：可视化操作更便捷

OpenJarvis 提供跨平台桌面应用，后端仍本地化运行，仅需两步即可使用：

1. 启动本地后端：

git clone https://github.com/open-jarvis/OpenJarvis.git
cd OpenJarvis
./scripts/quickstart.sh

2. 下载对应系统的桌面应用（macOS/Windows/Linux），打开后自动连接http://localhost:8000。
   • macOS用户若提示“应用损坏”，执行：xattr -cr /Applications/OpenJarvis.app

核心架构：五大可组合原语

OpenJarvis 采用分层设计，各层接口清晰、可独立替换：

1. 智能层：自动/手动选择模型，管理本地模型目录；
2. 智能体层：支持多步推理与工具调用，内置7种智能体类型；
3. 工具层：涵盖网络搜索、计算器、文件读写、代码解释器等能力；
4. 引擎层：兼容Ollama、vLLM、llama.cpp等10+推理后端，适配不同硬件；
5. 学习层：基于本地交互数据优化模型、提示词与智能体行为。

关键特性

• 多引擎兼容：支持Ollama、vLLM、MLX等10+推理后端，统一接口可自由切换；
• 自动化工作流：基于Cron的智能体可实现代码审查、邮件分类等自动化任务；
• 硬件感知：自动识别GPU型号/显存，推荐最优运行方案；
• 离线优先：核心功能无网络也能使用，云端仅为补充；
• OpenAI兼容API：启动jarvis serve可提供SSE流式传输的FastAPI服务，直接替换OpenAI客户端；
• 成本追踪：内置GPU功耗、Token成本、延迟统计，精准核算每次查询的开销。