阿里Qwen发布QwenGyre：面向超长视野Agent的弹性强化学习框架，GPU可在推理Rollout与训练间动态切换

阿里Qwen团队推出 QwenGyre，它不是大模型，而是一套超长视野代理（Long-horizon Agent）弹性强化学习框架。专门用于训练需要持续运行数小时、上下文接近百万Token的Agent任务，可基于未修改的黑盒harness训练编码智能体，已应用在旗舰Qwen 3.8 2.4T模型的训练流程。

• 论文：https://arxiv.org/abs/2609.33848

测试底座：Qwen 3.6 122B、Qwen 3.8 2.4T；单次rollout约700K token；训练基于Megatron，推理rollout服务由SGLang承载。

解决两大行业痛点

超长视野Agent任务（例如从需求完整生成代码仓库NL2RepoBench）存在大量工具交互，执行轨迹是分支树而非单条轨迹，带来两个核心难题：

1. GPU资源长尾浪费：传统Colocate模式，训练流程必须等待最慢的rollout任务完成，大量GPU空闲；Async异步方案GPU池固定，无法互相挪用闲置算力。
2. 轨迹树样本膨胀：代理重试、子代理分支会生成大量共享前缀的多条路径，全部保存训练会带来极高算力开销。

两大核心设计：弹性调度器 + 轨迹处理器

弹性GPU调度器

集群GPU划分为多个cell单元，cell可以在推理rollout、模型训练两种角色之间动态切换，核心权重保存在核心cell，卫星cell可动态加入训练批次：

• RDMA迁移KV缓存块，切换时减少上下文前缀重算开销；
• 卫星单元通过Mooncake传输引擎拉取主权重，加入正在进行的训练批次；
• 流式训练：数据就绪后cell直接认领微步；
• 角色切换耗时：rollout→训练平均8.52秒，训练→rollout平均3.46秒。

轨迹处理器（压缩分支样本）

基于TITO记录模型token输出与对数概率，把代理分支轨迹转为共享前缀的轨迹树：

• 超时任务也可以对已完成的工作做部分奖励打分，不会直接判定为0奖励；
• 有界采样：单次执行最多保留5条轨迹，按优先级排序（主轨迹>主摘要>子代理>子代理摘要）；
• 去重：同一个目标任务的共享前缀只计算一次，仅对模型新生成token做训练；
• 公平损失加权：单次任务内部损失平均，避免多分支放大权重。
  

  限制为最多5条轨迹，效果接近无上限训练，同时前向-后向计算耗时减少25.2%，采用改进GSPO算法，每组16次rollout。

基准性能

评测统一使用Claude Code 2.1.220作为harness，GPU预算保持一致：

Qwen3.8 2.4T的NL2RepoBench：

• Colocate：91.47小时，通过率52.48%
• Async：134.55小时
• QwenGyre：75.42小时，通过率提升至58.54%

框架横向对比

要点小结

1. QwenGyre是面向长时序Agent的弹性强化学习框架，核心创新：GPU cell可在rollout推理与训练之间动态切换，解决长尾任务GPU闲置。
2. 轨迹树采样机制压缩分支样本，控制训练开销，超时任务也可以做部分奖励评估。
3. 最高相比Colocate提速1.85倍；Qwen3.8 2.4T在NL2RepoBench通过率由52.5%提升到58.5%。
4. 目前论文未开放源码，与veRL、AReaL等Agent RL框架相比优势在超大模型长任务弹性调度。