NVIDIA Run:ai

英伟达近日宣布，将完整的 NVIDIA Run:ai 平台作为开源软件发布。源代码已在 GitHub 上以 Apache 2.0 许可证公开。这一举措意味着生产环境中的 GPU 调度、配额分配和工作负载管理权正式交到了开发者手中。平台团队现在可以直接检查、fork 并自托管该技术栈，无需购买付费订阅。

核心定位与架构

NVIDIA Run:ai 是专为 Kubernetes 设计的 AI 工作负载和 GPU 编排平台。它运行在 Kubernetes 之上，作为现有架构的增强，主要用于在共享 GPU 集群中调度开发、训练和推理任务。

整个开源版本是一个单体仓库（monorepo），包含控制平面、集群服务、安装程序、CLI 以及用于 AI 助手的 MCP 服务器。本地开发构建涉及约 50 个 Go 服务。用户可通过 Web UI、命令行、REST API 等多种方式与系统交互。

四大模块化组件

英伟达将此次发布拆分为四个可独立采用的组件：

1. KAI Scheduler：这是一个 Kubernetes 原生的调度引擎，目前也是 Apache 2.0 许可下的 CNCF Sandbox 项目。它支持 gang 调度、基于时间的公平份额分配、拓扑感知、bin-packing（装箱）以及 DRA（动态资源分配）支持。
2. GPU Fractioning Operator：将 CUDA 13.4 原生的 GPU 分数（分片）能力引入 Kubernetes。CUDA 驱动会为每个工作负载强制执行严格的内存限制。英伟达已退役其较旧的专有分片方案，转而采用这种与调度器无关且能导出每 Pod 指标的新方法。
3. KAI Resource Management：负责添加项目、部门、配额和节点池管理。例如，管理员可以轻松配置策略，保证集群 50% 的资源专供研究团队使用。
4. Workload Map：这是一个 Go 语言库，用于描述 PyTorchJob、RayCluster 和 KServe 服务等常见工作负载类型。它主要在离线状态下工作，不参与调度、排队或自动扩展。

本地开发与生产部署

为了方便开发者测试，英伟达提供了基于 local-dev.sh 脚本的本地开发指南。该脚本会在容器内从源码构建服务，并创建一个固定在 Kubernetes v1.32.5 的 5 节点 Kind 集群。内置的假 GPU operator 会模拟 8 个 Tesla-A10 GPU，因此本地测试无需真实的 GPU 硬件。

本地运行支持 macOS 或 Linux（amd64 或 arm64），不支持 Windows。Linux 主机至少需要 4 个 CPU 核心、16 GB 内存和 100 GB 可用磁盘；macOS Podman VM 则需至少 12 GB 内存。完整构建后会产生约 44 GB 的缓存。

如果需要使用真实硬件，可通过 --gpu-operator 标志切换。但这要求 Linux 环境、Docker 以及 NVIDIA Container Toolkit，且不支持 AMD 或英特尔加速器。

在生产环境中，团队可以从源码或 NGC Community Product Helm chart 进行部署。该版本无需付费订阅，但也不包含英伟达的企业级技术支持。此外，团队还可以通过 Crusoe、Mirantis、Nebius 等 8 个 DSX 生态系统合作伙伴来采用该技术。需要商业支持的版本仍可通过 NVIDIA AI Enterprise 等渠道获取。

生态扩展与性能表现

随同发布的还有两个相邻的开源项目，进一步完善了技术栈：

• Model Streamer：可将模型权重直接流式传输到 GPU 内存。在 vLLM 和 SGLang 中启用 --load-format runai_streamer 即可使用。微软的基准测试显示，在 8 个英伟达 H100 VM 上，其模型加载速度比默认加载器快 3 到 6 倍，吞吐量保持在 80 Gbps，而默认路径约为 40 Gbps。
• Grove：用于编排多组件推理工作负载，能够将 prefill 和 decode 等组件作为“全有或全无”的单元统一启动。

与现有开源调度器的差异

与 Volcano、Kueue 或 Apache YuniKorn 等专注于单一调度或排队功能的开源项目不同，NVIDIA Run:ai 的核心区别在于其“完整平台”的定位。它不仅提供了底层的 KAI 调度器，还在此基础上构建了包含控制平面、Web UI、CLI 和 REST API 在内的全套管理工具。同时，它利用 CUDA 13.4 实现了带硬内存限制的 GPU 共享，并在拓扑感知和多集群管理方面提供了开箱即用的支持。

对于希望在内部集群中实现精细化 GPU 资源管理的团队而言，这次开源提供了一个无需额外许可费用的成熟基座。