OmniInfer

OmniInfer 是一款高性能、跨平台的本地推理引擎，专为在各类设备上运行大语言模型（LLM）和视觉语言模型（VLM）而设计。它旨在屏蔽模型编译、硬件适配和部署的复杂性，通过极简的配置即可实现高效的本地推理，同时也是统一模型编排平台 Omni Studio 的核心推理层。

核心特性与技术优势

• 极速推理与低内存占用：通过深度优化的 token 生成算法，OmniInfer 在保持高吞吐量的同时，将内存占用降至最低。
• 灵活的多后端支持：引擎内置了对多种主流推理后端的适配，包括 llama.cpp、stable-diffusion.cpp、ik_llama.cpp、MNN、MLX、TurboQuant、LiteRT-LM、ExecuTorch QNN，以及在特定平台上可用的 OmniInfer Native。用户可根据当前设备的硬件条件，无缝切换至最合适的可用引擎。
• 全平台覆盖：一套代码即可覆盖桌面端、服务器及移动端。支持 Linux x64、macOS arm64、Windows x64，并通过 Gradle 模块和 Swift Package 原生支持 Android 与 iOS 设备。
• 标准 API 兼容：原生兼容 OpenAI 和 Anthropic 的 API 协议，支持文本与视觉语言任务。开发者可精细控制上下文长度、GPU offload、KV cache 以及后端的原生启动参数。

极简安装与快速上手

OmniInfer 提供了高度自动化的安装体验。用户只需在终端执行一行脚本，即可下载最新的 CLI 工具、校验 SHA-256 并完成当前用户的安装：

• Linux / macOS: curl -fsSL https://raw.githubusercontent.com/omnimind-ai/OmniInfer/main/scripts/install.sh | bash
• Windows (PowerShell): irm https://raw.githubusercontent.com/omnimind-ai/OmniInfer/main/scripts/install.ps1 | iex

安装完成后，仅需三步即可开始使用：

1. 在终端运行 omniinfer 启动交互式文本用户界面（TUI）。
2. 在 TUI 中选择一个兼容的后端，系统可自动为你安装可用的预编译运行时。
3. 选择一个本地模型，即可开始对话。

若需在本地搭建兼容 OpenAI 或 Anthropic 的服务端点，只需执行 omniinfer serve 命令即可启动 HTTP 网关。

生态与扩展性

OmniInfer 的设计充分考虑了开发者的实际需求。其运行时是否可用取决于具体的设备和加速器配置，用户可通过 omniinfer backend list 命令随时查看当前机器的支持情况。无论是用于桌面端的本地知识库问答，还是嵌入到移动应用的边缘计算场景中，OmniInfer 都提供了一套统一、可靠且易于维护的底层推理解决方案。