agent-vision-toolkit

agent-vision-toolkit 是一套专为纯文本大语言模型（如 DeepSeek V4）设计的视觉能力增强工具包。它通过提供一系列结构化的 CLI 工具和 Skill 指导，让不具备原生多模态能力的 Agent 也能高效完成图片问答、长图 OCR、UI 还原、GUI 自动化等复杂视觉任务。此外，它还提供了可选的无缝接入层，支持在 Codex、Claude Code、Pi 等主流 Agent 框架中直接粘贴图片并使用内置看图工具。

核心理念：意图驱动的视觉理解

与传统“截图转通用描述”的方案不同，该工具包强调意图驱动（Intent-Driven）。它会从用户消息或模型自述中提取看图的动机（Focus Hint），并将其传递给后端的多模态视觉 API。这使得返回的描述不再是宽泛的图像总结，而是紧扣当前任务关键细节的结构化信息，从而显著降低语义损耗，提升准确率与响应速度。

核心功能与用例

支持的 Agent 框架与接入方式

• DeepSeek Harness (DSH)：新增 dsh-vision-toolkit 子包，作为原生 Profile Bundle 接入，提供 10 个结构化视觉工具。
• Codex / Claude Code：通过透明本地代理（Responses API）实现无缝接入，支持直接粘贴图片。
• Pi / Oh My Pi / OpenCode：通过单文件原生 Extension/Plugin 实现接入，无需额外配置。
• 任意支持 Shell 的 Agent：直接使用提供的 CLI 工具和 Skill 文档。

快速开始

1. 基础安装（CLI + Skill）

将以下指令发送给您的 Agent：

“根据 https://github.com/Anionex/agent-vision-toolkit 的仓库指引，在本地安装视觉工具箱和 skill。如果视觉 API 尚未配置，请按当前系统找到配置文件，并引导我填写 VISION_API_KEY、VISION_BASE_URL 和 VISION_MODEL。”

2. 无缝接入升级（可选）

若希望支持直接粘贴图片和使用内置看图工具，请发送：

“完整阅读 https://github.com/Anionex/agent-vision-toolkit/blob/main/AGENT_INSTALL.md，根据我们当前使用的 agent 应用，安装适用的视觉代理或原生 extension/plugin。如果视觉 API 尚未配置，请按当前系统找到配置文件，并引导我填写 VISION_API_KEY、VISION_BASE_URL 和 VISION_MODEL。”

前置条件

• 一个已正常运行的纯文本 Coding Agent（如 DeepSeek V4）。
• 一个支持 OpenAI Chat Completions、OpenAI Responses 或 Anthropic Messages 协议的多模态视觉 API。
• 配置好对应的 VISION_API_KEY、VISION_BASE_URL 和 VISION_MODEL。