SGLang

SGLang 是一款由非营利开源组织 LMSYS 托管的高性能开源推理框架，专为大语言模型（LLM）、视觉语言模型（VLM）以及扩散模型设计。该框架针对 AI 代理（Agent）工作负载、大规模生产级服务以及强化学习（RL）的 rollout 生成进行了深度优化。目前，SGLang 已支撑起庞大的全球 AI 基础设施，每天在全球超过 400,000 块 GPU 上生成数万亿 token。

广泛的硬件兼容性与平台支持

SGLang 的核心优势之一是其卓越的跨平台兼容性，能够无缝适配从云端数据中心到边缘设备的多种计算架构：

• NVIDIA：全面支持 B200/B300/GB200/GB300、H100/H200/H800/H20、A100，以及 RTX 30/40/50 系列、RTX 6000 Ada / PRO 6000、DGX Spark 和 Jetson Orin。
• AMD：支持 Instinct MI300X、MI325X、MI350X、MI355X。
• Google TPU：通过 SGLang-TorchTPU 和 SGL-JAX，支持 v6e、v7（含 Ironwood），并提供跨主机的张量并行与专家并行服务。
• Intel：支持 Arc / Arc Pro B 系列 GPU 及 Xeon CPU。
• Apple 芯片：通过 Metal 和 MLX 框架原生支持 Mac 设备。
• 国产芯片生态：深度适配华为昇腾（A2、A3、950PR/DT NPU）及摩尔线程（MTT S5000 GPU）。同时，对 AWS Trainium、阿里平头哥 PPU、寒武纪 MLU 等平台的集成工作正在积极推进中。

繁荣的 SGL 生态系统

SGLang 不仅是一个单一的推理引擎，更是一个不断扩展的开源生态矩阵，涵盖了 AI 应用的各个关键环节：

• 多模态生成：内置 SGLang Diffusion，提供高效的图像和视频生成服务；SGLang Omni 则专注于文本到语音（TTS）和自动语音识别（ASR）的音频模型服务。
• 推理加速：SpecForge 项目专为推测解码（Speculative Decoding）设计，支持训练草稿模型并与 SGLang 无缝部署，进一步打破推理延迟瓶颈。
• RL 与后训练：与 Miles、slime、AReaL、Tunix、verl 等主流训练框架深度集成，为强化学习的 rollout 生成提供高性能支持。
• 部署与编排：支持与 SMG、RBG、llm-d、Ray Serve 以及 NVIDIA Dynamo 等工具结合，实现复杂的路由、负载均衡和集群级推理服务编排。
• 教育与社区：提供 Mini-SGLang、zero-to-sglang 以及 DeepLearning.AI 的相关课程，帮助开发者从代码层面深入理解高效推理引擎的设计原理。

快速开始与部署指南

SGLang 提供了极简的部署体验，开发者可通过以下两种主流方式快速启动：

1. Docker 容器化部署（推荐）：
   拉取包含 SGLang 及其所有依赖项的官方镜像，确保环境一致性：

   docker pull lmsysorg/sglang:latest
   

2. Python 环境原生安装：
   在已激活的 Python 环境中，使用现代化的包管理器 uv 进行快速安装：

   uv pip install --prerelease=allow sglang
   

安装完成后，开发者可参考官方 Cookbook，根据所选模型和硬件平台获取即用型启动命令，快速运行第一个模型并发送推理请求。