Clicky最新版

Clicky 是一款开源的 macOS 菜单栏应用，它不仅仅是一个聊天机器人，更是一位能“看见”你屏幕、与你对话并能在屏幕上指点江山的 AI 老师。通过结合屏幕捕获、语音交互和光标控制，Clicky 模拟了一位真实导师坐在你身边的体验，特别适合编程学习、软件操作指导或复杂任务的辅助。

• 官网：https://www.clicky.so
• GitHub：https://github.com/farzaa/clicky

核心亮点

1. 屏幕感知与视觉理解

• 实时截图：利用 macOS 的 ScreenCaptureKit，Clicky 能在你触发时捕捉当前屏幕内容。
• 多显示器支持：能够识别并在多个显示器之间定位 UI 元素。
• 上下文对话：AI 基于你当前的屏幕状态回答问题，无需你费力描述界面布局。

2. 智能光标指引

• 自动指向：Claude 模型可以在回复中嵌入特殊的 [POINT:x,y:label:screenN] 标签。
• 视觉反馈：Clicky 解析这些标签后，会控制光标“飞越”到屏幕上的特定位置，并显示标签，直观地告诉你“看这里”或“点击那里”。

3. 自然语音交互

• 按键通话 (Push-to-Talk)：通过全局快捷键（Control + Option）激活麦克风。
• 流式转录：使用 AssemblyAI 将语音实时转为文字。
• 语音回复：通过 ElevenLabs 将 AI 的文字回复转化为自然流畅的语音播放。

4. 隐私与安全架构

• 密钥隔离：所有敏感 API Key（Anthropic, AssemblyAI, ElevenLabs）均存储在 Cloudflare Worker 中，绝不硬编码在应用二进制文件里。
• 本地运行：除了必要的 API 调用，核心逻辑在本地 Mac 上运行。

技术架构

Clicky 采用现代化的混合架构：

• 前端 (macOS App)：
  • 语言：Swift
  • 框架：AppKit (NSPanel, ScreenCaptureKit)
  • 功能：菜单栏驻留、屏幕捕获、音频采集、光标控制、WebSocket/SSE 通信。
• 后端代理 (Cloudflare Worker)：
  • 语言：JavaScript/TypeScript
  • 功能：作为安全网关，代理对 Anthropic (Claude), AssemblyAI, ElevenLabs 的请求，隐藏 API Key。
• AI 核心：
  • Claude (Anthropic)：负责视觉理解、逻辑推理及生成包含坐标指令的回复。
  • AssemblyAI：负责高精度的语音转文字。
  • ElevenLabs：负责逼真的文字转语音。

快速开始：通过 Claude Code 一键设置

这是最推荐的安装方式，让 AI 帮你完成所有繁琐配置。

1. 确保已安装 Claude Code。
2. 在终端中启动 Claude：

   claude
   

3. 粘贴以下指令：
   

   你好 Claude。

   将 https://github.com/farzaa/clicky.git 克隆到我的当前目录。

   然后阅读 CLAUDE.md。我想让 Clicky 在我的 Mac 上本地运行。

   帮我设置好一切——包括带有我自己 API 密钥的 Cloudflare Worker、代理 URL，以及让它在 Xcode 中构建。请一步步指导我。

Claude Code 将自动克隆代码、阅读文档、指导你部署 Worker 并配置 Xcode 项目。

手动设置指南

如果你偏好手动控制，请按以下步骤操作：

1. 前置条件

• 系统：macOS 14.2+ (Sonoma)
• 开发工具：Xcode 15+, Node.js 18+
• 账户与 Key：
  • Cloudflare 账户
  • Anthropic API Key
  • AssemblyAI API Key
  • ElevenLabs API Key & Voice ID

2. 部署 Cloudflare Worker (代理层)

Worker 用于安全地存储和转发 API 请求。

cd worker
npm install

# 设置秘密密钥
npx wrangler secret put ANTHROPIC_API_KEY
npx wrangler secret put ASSEMBLYAI_API_KEY
npx wrangler secret put ELEVENLABS_API_KEY

# 配置 Voice ID (非敏感信息，直接编辑文件)
# 在 wrangler.toml 中设置 ELEVENLABS_VOICE_ID

# 部署
npx wrangler deploy

记录部署后返回的 Worker URL (例如: https://your-worker.workers.dev)

3. 配置 macOS 应用

将 Swift 代码中的默认 Worker URL 替换为你刚才部署的地址。

# 查找需要修改的文件
grep -r "clicky-proxy" leanring-buddy/

# 主要修改文件：
# - CompanionManager.swift
# - AssemblyAIStreamingTranscriptionProvider.swift

4. 构建与运行

open leanring-buddy.xcodeproj

• 在 Xcode 中选择 leanring-buddy Scheme。
• 配置签名团队 (Signing & Capabilities)。
• 按 Cmd + R 运行。

5. 授予权限

首次运行时，macOS 会请求以下权限，请务必允许：

• 麦克风：语音输入。
• 辅助功能：全局快捷键监听。
• 屏幕录制/屏幕内容：捕获屏幕图像供 AI 分析。

使用场景

• 编程辅导：“这段代码为什么报错？” -> Clicky 看着你的 IDE，指出错误行并解释原因。
• 软件教学：“怎么在 Excel 里做透视表？” -> Clicky 逐步指引你点击菜单，光标自动跳到对应按钮。
• 故障排查：“这个弹窗是什么意思？” -> Clicky 读取弹窗内容并提供解决方案。