Anthropic在近期升级了Claude 3.5 Sonnet 和推出新模型 Claude 3.5 Haiku,不过最令人惊喜的还是推出了新功能Computer Use,让Claude 可以像人类用户一样,在电脑屏幕上移动光标、点击相关位置并通过虚拟键盘输入信息。Computer Use 是通过快速连续截屏去执行操作,它要求用户授权其软件必要的访问权限,查看屏幕截图,计算移动光标到正确位置所需的垂直或水平像素数,它无法执行拖放之类常见鼠标操作。Anthropic 表示该工具有很多限制,容易出错,比如没有完成编程任务就去浏览黄石公园的照片。目前此功能还处于内测阶段。
Computer Use开源替代品
Agent.exe
Agent.exe 是一个简单的 Electron 应用程序,通过 Claude 新的 Computer Use 能力,让 Claude 3.5 Sonnet 直接控制您的本地电脑。这款应用程序最初计划添加一个“半自动”模式,让用户在执行每个操作之前必须确认,但由于每一步都很慢,开发者发现这并不必要。如果模型感到困惑,用户可以轻松地点击“停止”按钮来结束运行。
支持的系统
- MacOS
- Windows(理论上支持)
- Linux(理论上支持)
已知限制
- 仅在主显示器上工作
- 不能完全控制电脑
评论0