Junie Local

Junie Local 是 JetBrains 推出的本地推理引擎，可在本机硬件上运行大型编码模型，对外暴露兼容 OpenAI 规范的 API，Junie CLI 能够直连本地服务，无需代理或云服务。支持两大平台：搭载 Apple Silicon 的 macOS，以及配备 NVIDIA RTX 显卡的 Windows。

硬件与系统要求

底层推理引擎

不同平台采用适配的推理后端，模型文件格式有区别：

• macOS：基于 mlx-vlm，打包为后台服务junie-mlx-vlm，使用MLX格式4位量化模型
• Windows：基于CUDA加速的llama.cpp，使用GGUF量化模型
  两者都支持多token预测MTP推测解码来加速生成；macOS使用独立小型草稿模型，Windows由主GGUF模型提供MTP能力。

支持模型

提供两款编码模型，默认安装4位量化版本以适配单卡/笔记本内存：

1. Qwen3.6-27B：体积更小、速度更快，可在降频笔记本上运行
2. Qwen3.8-3.6-27B-blend：JetBrains混合模型，同等权重融合Qwen3.8-27B与Qwen3.6-27B，编码任务能力更强，同时输出token量少于原版Qwen3.8

快速安装

一键安装（CLI+本地模型）

macOS

curl -fsSL https://junie.jetbrains.com/install.sh| bash -s -- --local-model

Windows PowerShell

powershell -NoProfile -Command "[Environment]::SetEnvironmentVariable('JUNIE_LOCAL_MODEL', '1', 'Process'); iex (irm 'https://junie.jetbrains.com/install.ps1')"

安装包自动下载推理引擎与量化模型（macOS约15GB，Windows约17GB），校验文件哈希，完成后在Junie CLI中执行/model切换本地模型。

Junie内图形化安装

在Junie CLI输入/local打开设置面板，自动检测硬件条件，列出可选模型，支持多选安装，模型之间独立共存。下载支持断点续传，只拉取缺失文件。

macOS的ACP客户端没有图形面板，会唤起终端执行安装，客户端退出也不会中断下载；Windows仅在Junie CLI终端UI提供/local能力。

目录结构与服务机制

本地服务地址：http://localhost:19239/v1/chat/completions

• macOS模型路径：~/.local/share/junie-local/models/
• Windows模型路径：~\.local\share\junie-local\models\

服务自动管理：选中本地模型时自动拉起引擎；所有Junie实例全部退出后自动关闭引擎。引擎后台加载模型，首次请求会等待加载完成，后续请求利用上下文缓存加速。

配套serverctl脚本用于手动管理引擎：start/stop/status/health/uninstall等指令，可单独启停服务、卸载模型。