CUA-Lite

2个月前发布 58 00

加州大学伯克利分校研究团队推出 CUA‑Lite,面向计算机使用代理(CUA)的开源研究平台。项目跳出 “以模型为中心” 的思路,聚焦基础设施层面的痛点:训练、评测计算机使用代理,需要代理、运行环境、交互轨迹、训练评估框架四大组件,但现有资源分散在互不兼容的独立仓库。CUA‑Lite 将它们整合,提供统一操作空间、统一数据格式与统一调用接...

所在地:
美国
收录时间:
2026-09-07
其他站点:
CUA-LiteCUA-Lite

加州大学伯克利分校的研究团队正式发布了 CUA-Lite,这是一个解决计算机使用代理(Computer Use Agents, CUA)研究碎片化问题的开源平台。CUA-Lite 的核心贡献在于基础设施层面的统一:它将分散在独立仓库中的代理、环境、轨迹数据和评估框架整合到一个兼容的操作空间、数据模式和命令接口下,覆盖了桌面、浏览器和移动端三大场景。

CUA-Lite

核心突破:Lite.OSWorld —— 告别重型虚拟机

CUA-Lite 最具影响力的创新是 Lite.OSWorld。传统的 OSWorld 基准测试依赖于完整的 QEMU/KVM 虚拟机来模拟 Ubuntu 桌面,这需要嵌套虚拟化支持,导致部署成本高、并行度低。

CUA-Lite 通过将其重构为基于 Docker 容器 的 GNOME 桌面环境,彻底改变了这一现状:

特性传统 OSWorld (VM)Lite.OSWorld (Container)
运行时QEMU/KVM 虚拟机Docker 容器
主机要求需 /dev/kvm 及嵌套虚拟化任何 Docker 主机(含云实例/CI)
内存占用4.1 GB0.9 GB
冷启动时间29.9 秒23.8 秒
并行能力基线约 4.6 倍实例数
任务保真度高与 VM 匹配(13个模型验证)

关键结论:在 13 个主流模型上的测试表明,Lite.OSWorld 的得分与原版 OSWorld 高度一致。这意味着在轻量级容器中获得的训练信号和评估结果可以直接迁移到真实基准测试中,极大地降低了研究和大规模评估的门槛。

统一数据模式:LiteSample

为了消除不同数据集之间的格式壁垒,CUA-Lite 引入了 LiteSample,一种跨所有环境、代理和任务类型的统一监督学习数据模式(Parquet + 图像)。

  • 海量数据集成:已预处理并发布 10+ 个主流 CUA 数据集(如 Aguvis, OpenCUA, ScaleCUA, GUI-360 等)至 Hugging Face。
  • 教师模型蒸馏:包含由前沿教师模型在沙箱中生成的全新 rollout 数据集,专门用于将能力蒸馏到更小的学生模型中。
  • 模型适配器:提供每模型适配器,自动将统一的 LiteSample 转换为特定模型(如 GPT, Claude, Qwen3-VL 等)所需的训练格式,支持历史折叠以优化前向传递效率。

一站式工作流:Eval, SFT & RL

CUA-Lite 通过 lite.gym 接口实现了代理与环境的无缝对接,支持“一条命令”完成评估、监督微调(SFT)和强化学习(RL):

  • 广泛支持:内置 10+ 种代理(GPT, Claude, Gemini, Qwen3-VL, UI-TARS 等)和 15+ 种基准(涵盖 ScreenSpot-Pro, OSWorld, WebArena, AndroidWorld 等)。
  • 简单接口:只需在 scripts/rollout.py 中切换 --model-id 和 --env-id 即可运行。
  • 训练实证:
    • SFT:在 Lite.ScaleCUA 轨迹上微调 Qwen3-VL-2B-Instruct,在 lite.osworld 评估集上将平均回合回报从 0.138 提升至 0.237。
    • RL:支持基于 Slime 的 GRPO 更新,并提供了涵盖 28 个应用、416 个任务的 MobileGym 完整示例。

为什么 CUA-Lite 很重要?

  1. democratize CUA Research:通过消除对昂贵硬件(嵌套虚拟化)的依赖,让任何拥有 Docker 环境的研究者都能进行大规模的 CUA 实验。
  2. 标准化基础设施:统一的数据模式和操作空间解决了社区长期存在的“重复造轮子”问题,加速了模型比较和技术迭代。
  3. 规模效应:平台总计声称拥有 30,000+ 可验证任务,为训练更强大、更通用的计算机使用代理提供了坚实的数据基础。

⚠️ 注意事项

  • 许可证:目前仓库尚未附带明确的商业使用许可证,企业在采用前需仔细核实条款。
  • 部署要求:需 Python 3.12 环境,通过 uv sync --all-extras 安装。

相关导航