FlagOS 

在 AI 芯片种类繁多、软件栈各自为战的当下，如何实现“一次开发，跨芯片部署”成为行业难题。北京智源研究院联合国内外众多科研机构、芯片厂商及软件组织，正式发起成立 FlagOS 开源社区，致力于构建连接“模型-系统-芯片”各层的统一开源系统软件栈。

随着 FlagOS 的发布，面壁智能的最新模型 MiniCPM5-1B 已在极短时间内适配了包括 Nvidia、华为昇腾、海光、摩尔线程等在内的 9 种主流 AI 芯片，标志着异构算力生态互通迈出了关键一步。

FlagOS 核心使命：打破壁垒，统一生态

FlagOS 旨在解决 AI 硬件生态碎片化问题，通过提供以下核心组件，打造开放的技术生态：

• 大规模算子库：优化底层计算效率。
• 统一 AI 编译器：屏蔽硬件差异，实现代码通用性。
• 并行训练与推理框架：支持大规模分布式任务。
• 统一通信库：提升多卡/多机通信效率。

核心价值：

• 降低迁移成本：开发者无需为每种芯片重写代码。
• 释放算力潜能：通过统一优化，最大化硬件性能。
• 突破垄断：推动开源生态，避免单一厂商闭源绑定。

实战成果：MiniCPM5-1B 全平台适配

得益于 FlagOS 的统一软件栈，MiniCPM5-1B 已迅速完成多芯片适配，并通过 FlagRelease 平台发布。FlagRelease 是一个用于在多架构 AI 芯片上自动迁移、适配和部署大模型的一站式平台。

支持的芯片平台列表

如何使用 FlagOS？

方式一：使用 FlagRelease 镜像（推荐）

FlagRelease 提供了预装所有必需软件包的容器镜像，用户无需自行配置环境，即可快速启动服务。

• 优势：开箱即用，零配置负担。
• 适用场景：快速验证、生产部署。

方式二：从零开始构建（开发者模式）

对于希望深度定制或研究底层优化的开发者，可以手动安装 FlagOS 组件。

1. 前置依赖

• Python 3.12
• GLIBC 2.39 / GLIBCXX 3.4.33 / CXXABI 1.3.15

2. 安装 FlagGems 算子库
FlagGems 是 FlagOS 的核心加速库，兼容 Triton。

pip install flag-gems==4.2.1rc0
pip install triton==3.5.1

3. 启用加速并启动 vLLM 服务
在 vLLM 源代码中导入并启用 flagGems：

import flag_gems
flag_gems.enable(record=True, once=True, path="/root/gems.txt")

启动服务命令示例：

vllm serve ${model_path} \
  --trust-remote-code \
  --dtype bfloat16 \
  --enforce-eager \
  --port ${Port} \
  --served-model-name ${model_name} \
  --gpu-memory-utilization 0.85

方式三：使用 vllm-plugin-FL 插件

vllm-plugin-FL 是基于 FlagOS 统一多芯片后端开发的 vLLM 插件，旨在扩展 vLLM 在各种硬件环境中的功能。

• Nvidia 示例：
  • 从头构建：vllm-plugin-FL/MiniCPM5-1B
  • FlagRelease 镜像：MiniCPM5-1B-nvidia-FlagOS

通过“立足中国、拥抱全球”的策略，FlagOS 有望打破软硬件生态壁垒，促进 AI 技术的普惠部署。对于开发者而言，这意味着更低的适配成本和更灵活的选择权；对于产业而言，这意味着更高效、更安全的 AI 基础设施底座。