TauGrid

微软 Azure Kubernetes Service (AKS) 工程团队正式开源了 TauGrid，这是一个专为在 Kubernetes 上运行 GPU 密集型 AI 工作负载而设计的自托管平台栈。TauGrid 将平台团队通常需要手动集成的多个复杂组件（如排队系统、分布式运行时、健康监控和可观测性）打包成一个统一的解决方案，通过一次 Helm 安装即可部署。

核心架构：五合一的 AI 基础设施栈

TauGrid 并非重新发明轮子，而是对现有成熟开源项目的深度集成与编排，旨在解决“组装难题”：

1. tau CLI：
   • 为研究人员和开发者提供统一的命令行接口。
   • 支持从终端或 CI/CD 管道提交、监控和管理 AI 任务，无需直接编写复杂的 Kubernetes YAML。
2. 工作负载排队 (Kueue)：
   • 基于 Kubernetes SIGs 的 Kueue 项目。
   • 实现公平份额调度、资源配额管理以及基于优先级的任务准入控制，确保多租户环境下的资源合理分配。
3. Ray 集群编排 (KubeRay)：
   • 集成 KubeRay 操作器。
   • 自动管理 Ray 集群的生命周期，支持大规模分布式训练、微调和推理任务。
4. GPU 健康监控：
   • 提供节点级的 GPU 诊断工具。
   • 具备硬件故障检测能力，能在检测到异常时自动排空（Drain）节点，保障集群整体稳定性。
5. 全栈可观测性：
   • 集成指标收集、日志记录和可视化仪表板。
   • 覆盖集群状态、GPU 使用情况以及具体工作负载的性能数据。

设计与理念

• 职责分离：
  • 平台团队：负责安装和维护 TauGrid 栈，管理工作区、队列、计算配置文件、存储、身份认证及可观测性后端。
  • 研究人员/开发者：只需使用 tau CLI 与代码仓库交互，提交工作负载，完全屏蔽底层 Kubernetes 的复杂性。
• 可复现与可审计：
  • 系统会自动捕获配置、日志、指标和检查点（Evidence Record），确保每次实验和训练任务都是可追溯、可复现的。
• 隐私优先：
  • 默认无遥测数据上传。虽然可观测性后端目前针对 Azure Data Explorer 进行了优化，但整体架构保持开放。

部署与兼容性

• 许可证：MIT License (完全开源)。
• 发布形式：容器镜像和 Helm Chart 作为公共 OCI 工件发布在 Microsoft Container Registry (MCR)。
• 前置要求：
  • Kubernetes 集群版本 1.30+。
  • 集群中需包含 GPU 节点。
  • 本地需安装 kubectl 和 Helm 3.0+。
• 安装方式：

  helm install taugrid oci://mcr.microsoft.com/taugrid/charts/taugrid
  

为什么选择 TauGrid？

对于希望在本地数据中心或非 Azure 云环境中构建企业级 AI 平台的团队来说，TauGrid 提供了一个经过微软内部验证的“最佳实践”模板。它消除了自行集成 Kueue、KubeRay 和监控系统的巨大工程开销，让团队能够专注于模型研发而非基础设施维护。

随着 AI 工作负载日益复杂，像 TauGrid 这样标准化、自动化且透明的平台栈将成为企业 AI 基础设施的主流选择。