Anan iPhone Use

Anan iPhone Use 是一款专为 M5Stack StopWatch（基于 ESP32-S3）开发的创新型 Model Context Protocol (MCP) Server。它旨在通过 USB 或蓝牙（BLE）模拟鼠标和键盘输入，赋予 AI Agent 直接物理控制 iPhone 的能力。该项目采用极简的“决策与执行分离”架构，为移动端自动化测试、AI 辅助操作及智能家居控制提供了一个低成本、高兼容性的开源硬件解决方案。

核心架构：决策与执行的完美解耦

Anan iPhone Use 的设计哲学在于极致的轻量化与专注：

• 客户端负责“大脑”：运行在手机或电脑上的 Agent（如即将开源的纯客户端 Agent Anan，或其他支持 HTTP MCP 的客户端）负责屏幕观察（需 iOS 27+ 系统屏幕共享支持）、逻辑决策和结果验证。
• StopWatch 负责“手脚”：ESP32-S3 固件不运行任何大语言模型，也不提供手机截图功能。它仅作为一个纯粹的输入执行器，通过 USB 或实验性的 BLE 协议，向 iPhone 发送精准的点击、拖动、滚动和键盘输入指令。

灵活的连接与部署方案

为适应不同的使用场景，该工具提供了两种连接配置方式，均需在 iPhone 上预先开启“辅助触控”（AssistiveTouch）：

1. 无线连接 (Wi-Fi)：
   • 扫码连接 StopWatch 的配网热点，访问 http://192.168.4.1。
   • 确认 MCP 配对后，将设备接入用户的 2.4 GHz Wi-Fi 网络。
   • 退出配网前复制 MCP 配置，待手机切回原 Wi-Fi 后导入该配置，并在 iPhone 上完成 BLE 输入配对。
2. 有线连接 (USB 以太网)：
   • 使用 USB-C 数据线直接连接 StopWatch 与 iPhone。
   • 在 iPhone 上配置 USB 以太网（IP 设为 192.168.7.2，掩码 255.255.255.0，无需路由器/DNS）。
   • 访问 http://192.168.7.1 完成配对并导入 MCP 配置。

连接成功后，点击 StopWatch 上的“开始控制”，屏幕将显示黑底白眼的交互动画，工具操作会伴随彩色光标和键帽反馈，按下任一正面实体键即可立即停止控制并返回主页。

标准化的 MCP 接口规范

Anan iPhone Use 暴露了标准化的 MCP 工具集，默认地址为 http://stopwatch.local/mcp（USB 备用地址为 http://192.168.7.1/mcp）。所有坐标均采用竖屏归一化（0 到 1），时间单位为毫秒：

• device_status：查看连接状态、控制授权及输入忙碌状态。
• tap：执行单击、双击或长按（支持指定坐标 x, y、次数及间隔）。
• drag：滑动、拖动或连续绘图（支持多点路径规划及持续时间控制）。
• press_key：模拟键盘、编辑快捷键及系统/媒体按键（如 tab, copy, home）。
• type_ascii：向当前焦点输入 ASCII 文本（注：当前不支持中文或 Unicode 直接输入）。
• scroll：在指定区域执行带符号的垂直或水平滚动。
• stop：中断当前输入并撤销控制授权。

当前限制与注意事项

作为一个快速发展的开源项目，用户在部署时需了解以下边界：

• 网络限制：Wi-Fi 仅支持 2.4 GHz，且配置热点时会暂停 BLE，设备最多记忆五个 Wi-Fi 网络。
• 输入限制：目前仅支持竖屏模式、单指针操作以及 US 键盘布局的 ASCII 字符输入。
• BLE 实验性：蓝牙输入功能仍处于实验阶段，其指针精度、断线重连机制及长期运行的稳定性需在实机环境中进一步验收。