Jev Ultrafast

1个月前发布 52 00

Jev Ultrafast 是 browser-use 团队推出的新一代浏览器自动化智能体,其核心创新在于将传统“视觉感知→推理→动作生成”的串行流程,重构为单次 TypeSafe 请求即可完成的结构化决策问题。

所在地:
美国
收录时间:
2026-09-20
Jev UltrafastJev Ultrafast

Jev Ultrafast 是 browser-use 团队推出的新一代浏览器自动化智能体,其核心创新在于将传统“视觉感知→推理→动作生成”的串行流程,重构为单次 TypeSafe 请求即可完成的结构化决策问题。在 Google Flights 上执行“苏黎世→伦敦单程经济舱”搜索任务,端到端耗时仅 7.1 秒(含页面加载、文本生成与等待),相比同类方案显著提速。

Jev Ultrafast

该工具不依赖截图驱动或站点专用脚本,而是通过原子化 DOM 快照生成带索引的元素表,模型仅需从预定义操作集(CLICK/TYPE_TEXT/SELECT 等)中选择目标元素。仅当操作为 TYPE_TEXT 时,才调用小型 LLM 生成文本内容,其余决策完全由结构化头完成,大幅减少推理开销与幻觉风险。

技术架构:一次请求、零截图、原子执行

Jev Ultrafast 的速度优势源于五项工程优化:

  • 单请求双决策:操作选择与目标定位共享同一观察状态,在一次网络往返中同时返回 operation 和对应 target,避免多轮交互延迟。
  • 无截图默认循环:Agent 消费结构化元素表而非图像;截图仅用于调试检查器,视频录制独立于决策流,消除视觉编码瓶颈。
  • 原子 DOM 快照:每次观察仅发起一次浏览器调用,同步获取可见控件的名称、值、文本及 DOM 引用,保留节点新鲜度守卫防止过期操作。
  • 执行前验证:点击前校验文档状态、表单值、目标可见性及遮挡情况;输入前解析几何布局并拒绝被覆盖控件,仅动画变化不触发重预测。
  • 智能等待策略:组合框输入后等待建议列表出现(上限 200ms);其他交互最多等待 2 帧或 50ms,且等待发生在执行记录之后,不阻塞主循环。

此外,系统通过焦点仿真维持后台标签页渲染活性,仅发送视口内可见文本以压缩上下文,并在页面刷新后复用未变更的文本生成结果,进一步减少冗余计算。

动作空间与类型安全机制

每次页面观察生成如下格式化元素表:

[1] button    Change ticket type · Round trip
[2] combobox  Where from?        · San Francisco
[3] combobox  Where to?          · empty
[4] textbox   Departure          · empty

支持的操作包括 CLICK、TYPE_TEXT、SELECT、SCROLL_UP/DOWN、WAIT、DONE、BLOCKED。每个操作头仅包含语义兼容的元素子集(如 SELECT 仅暴露下拉选项),原生下拉菜单携带观测到的选项索引。模型输出严格约束为 JSON 对象,永不生成 CSS 选择器、坐标、JS 代码或 shell 命令,从根本上杜绝注入风险。

文本生成由独立小型 LLM(如 inception/mercury-2.5)负责,仅在 TYPE_TEXT 操作时触发,且输入前必须解析为合法 JSON。整个策略不含任何硬编码字段名或站点适配逻辑,Flights 示例仅提供自然语言目标并独立验证结果正确性。

部署与使用方式

快速试用:

git clone https://github.com/browser-use/jev-ultrafast.git
cd jev-ultrafast
uv sync
cp .env.example .env  # 填入 TYPESAFE_API_KEY 和 TEXT_MODEL_API_KEY
uv run jev

访问 http://127.0.0.1:8766 启动演示,检查器实时显示编号元素、操作/目标概率及执行轨迹。“Choose next”模式可在每步暂停供人工审核。Chrome 通过 Browser Harness 连接,首次运行需允许远程调试权限。

库集成:

from jev_ultrafast import Agent

with Agent(
    "https://www.google.com/travel/flights?hl=en",
    "Find one-way flights from Zurich to London on September 20, 2026, for one adult in economy."
) as agent:
    for state in agent.run():
        print(state["elapsed_ms"], state["status"])

同一策略可复用于不同任务(如 Wikipedia 文章查找、本地酒店筛选),无需修改代码。所有运行轨迹、失败案例及性能边界均记录于 performance.md。

性能证据与当前局限

在六次交替运行中(相同模型/配置),Google Flights 任务中位耗时从 9.45s 降至 7.09s(↓25%),浏览器协议调用从 1,092 次减至 101 次。Wikipedia 文章打开耗时 2.8s,本地酒店搜索 1.9s。但需注意:此为单一任务重复测试,非通用可靠性基准;DONE 状态仍需外部验证结果正确性。

MVP 明确排除以下场景:

  • Shadow DOM、iframe、canvas 元素
  • 文件上传、弹出标签页、嵌套滚动容器
  • 任意键盘快捷键或非标准控件
  • 完整 ARIA 可访问名称解析(仅处理常见 HTML/ARIA 控件)

此外,所有标签页共享现有 Chrome 配置文件,不支持隔离会话。DOM 读取器对动态 SPA 的适应性仍依赖快照新鲜度机制,极端异步渲染可能漏检。

Jev Ultrafast 代表了浏览器 Agent 从“模拟人类浏览”向“结构化程序交互”的范式转变。它牺牲了通用视觉理解能力,换取确定性与速度,特别适合表单填写、信息检索等高结构、低歧义的自动化任务。对于需要像素级 UI 理解或复杂手势的场景,传统视觉 Agent 仍是必要补充。

相关导航