Polar 

随着 AI Agent 能力的增强，对其进行的强化学习（RL）训练变得日益复杂。传统的 RL 基础设施往往要求将 Agent 软件（Harness）重写为特定的环境 API，这不仅工程量大，还容易丢失原生执行细节。英伟达研究团队推出的 Polar 框架，通过创新的“API 网关代理”机制，实现了在无需修改任何 Harness 代码的前提下，对 Codex、Claude Code、Qwen Code 等主流 Agent 进行高效的 GRPO 训练。

核心突破：在模型 API 边界处“无感”介入

Polar 的核心洞察在于：所有基于 LLM 的 Agent 都必须调用模型 API。Polar 在此边界处放置了一个网关代理（Gateway Proxy），而非侵入 Harness 内部。

1. 四步工作流程

对于每个模型请求，网关自动执行：

1. 检测提供商 API：识别 Anthropic、OpenAI Chat/Responses、Google 等格式。
2. 标准化请求：转换为本地推理服务器通用的 OpenAI Chat Completions格式。
3. 捕获 Token 级数据：完整存储请求/响应消息、Token ID、对数概率及结束原因，确保Token 级 fidelity。
4. 返回原始格式：将响应转换回 Harness 期望的 Schema，保持兼容性。

注：对于流式请求，Polar 合成符合规范的 SSE 流，确保完整捕获。

2. 零代码集成

用户只需将 Harness 的模型 base URL 指向 Polar 网关，即可开始训练，无需重写任何业务逻辑。

架构设计：高效 Rollout 与轨迹重建

Polar 由 Rollout 服务器 和 网关节点 组成，支持 Docker 和 Apptainer 运行时。

1. 异步并行架构

• Rollout 服务器：负责任务分发与会话管理。
• 网关节点：管理会话生命周期（INIT/RUNNING/POSTRUN），内置 Worker 池处理 CPU 密集型准备与 GPU 密集型执行，避免阻塞。

2. 两种轨迹重建策略

• per_request：将每次调用视为独立轨迹。无损但割裂上下文，增加训练负担。
• prefix_merging（推荐）：通过验证 Token 前缀关系，将多轮对话合并为长轨迹。仅标记被采样的 Assistant Token 为可训练，其余掩码为零。
  • 效果：相比 per_request，训练器更新次数减少 81%，挂墙时间缩短 5.39 倍，GPU 利用率从 20.4% 提升至 87.7%。

性能表现：SWE-Bench 显著提升

研究团队在 Qwen3.5-4B 基模型上，使用标准 GRPO 进行了实验：

• 最大增益分析：Codex 的提升最为显著，因为 Polar 将奖励信号直接附加到模型在 Codex 特定执行路径上实际采样的 Token 上，有效对齐了不熟悉的行为协议。
• 离线 SFT 数据生成：在 8×H100 服务器上，以约 64 GPU 小时的成本，从 1,638 次尝试中生成了 504 条高质量 SFT 轨迹（接受率 30.8%）。

框架对比优势

Polar 是目前唯一在以下四个维度均提供一流支持的系统：

• ✅ 异步 RL
• ✅ 异步 Rollout 暂存
• ✅ Rollout 即服务
• ✅ Harness 无关

相比之下，ProRL Agent、SkyRL-Agent 等竞品在 Harness 兼容性或异步能力上存在局限。

无论是希望提升现有 Agent 性能的开发者，还是致力于构建大规模 Agent 训练平台的研究机构，Polar 都提供了一个强大且灵活的开源解决方案（Apache-2.0 许可，基于 NeMo Gym）。立即体验 Polar，解锁 Agent 智能进化的新潜力！