macOS-use

你有没有想过，只需一句话，你的 Mac 就能帮你完成登录网站、执行计算、查询日历等任务？一个名为 macOS-use 的新项目正在让这个设想成为现实。

该项目由 Browser Use 团队推出，是一个专为 Apple 设备打造的 AI 代理系统。它能让 AI 真正“看懂”MacBook 屏幕内容，并在任意应用中执行操作，就像你在亲自操作一样。

示例演示：AI 如何完成任务

以下是一些 macOS-use 已实现的操作示例：

• 计算任务
  提示：“计算 5 × 4 的结果并返回。”
  → AI 完成计算后调用 done，结束任务。
• 网页登录
  提示：“访问 auth0.com，使用 Google 登录，选择 ofiroz91@gmail.com 账户。”
  → AI 自动打开浏览器、点击登录按钮、选择账户并完成登录。
• 日历查询
  提示：“你能检查今天以色列的安息日是星期几吗？”
  → AI 打开日历应用，查找相关信息并反馈结果。

愿景

告诉每台苹果设备要做什么，并在每个应用程序上看到它完成。

macOS-use 的目标是构建一个基于 Apple MLX 框架的 AI 代理系统，让 AI 能够在任何 Apple 设备上完成复杂任务。最终，我们希望打造一个开源项目，任何人都可以自由使用，并在本地运行推理，保障数据隐私、零成本部署。

项目路线图

阶段一：MacBook 支持（当前重点）

• 优化代理提示工程
• 发布首个可安装版本到 PyPI
• 提升自我纠错能力
• 添加对已安装应用的检测功能
• 实现失败时回退机制（例如识别 iCal 实际名称）
• 支持代理请求用户输入
• 全面测试与社区反馈收集
• 降低任务执行成本，提高效率

阶段二：本地推理支持

• 集成 Apple MLX 和 mlx-vlm 框架，实现本地图像理解和推理
• 微调轻量模型，在设备端运行推理
• 确保推理速度与准确性达到实用水平

阶段三：扩展至 iPhone / iPad

• 在 iOS 和 iPadOS 上实现类似功能
• 构建统一的跨平台 AI 代理体验

⚠️ 注意事项与风险提示

目前，macOS-use 仍处于早期开发阶段，请谨慎使用。

• 该代理可能访问您的登录凭证、认证服务或系统密码来完成任务。
• 它会与所有应用程序和 UI 组件交互，存在误操作风险。
• 不建议在无人监督的情况下运行。
• 当前无法识别验证码或反机器人机制，可能触发安全验证。

我们强烈建议您在非生产环境中测试本项目，并随时关注官方更新与改进。

 技术亮点

• 基于 Apple MLX 框架构建，支持本地运行
• 使用视觉语言模型（mlx-vlm）识别屏幕内容
• 可在任意应用程序中模拟用户行为
• 开源设计，便于社区共建与定制