Qwen-MM-Plugins 

3个月前发布 178 00

Qwen-MM-Plugins 是一套面向 Qwen 模型的原生多模态理解插件,它的目标很简单:让 Claude Code、Codex、OpenClaw 等任何支持 MCP 或 Skill 的 Agent Harness,都能像人类一样直接“看”懂图片、视频、文档甚至 3D 模型。

所在地:
中国
收录时间:
2026-08-11
Qwen-MM-Plugins Qwen-MM-Plugins 

现在的 AI 助手大多只能处理文本,或者需要复杂的配置才能看懂图片、视频。Qwen-MM-Plugins 是一套面向 Qwen 模型的原生多模态理解插件,它的目标很简单:让 Claude Code、Codex、OpenClaw 等任何支持 MCP 或 Skill 的 Agent Harness,都能像人类一样直接“看”懂图片、视频、文档甚至 3D 模型。

Qwen-MM-Plugins 

它不是把功能硬塞进模型里,而是通过 Skill(告诉模型有什么工具)+ MCP Server(实际干活的工具本体) 的组合,让 Agent 具备真正的多模态感知和操作能力。

核心能力矩阵

这套插件将多模态能力拆解为独立的模块,你可以按需安装:

能力模块它能做什么适用场景
core基础视觉:动态分辨率读取图/文/视/3D,OCR,物体定位 (Grounding),分割,ASR,联网搜索读仪表盘数字、总结 PDF、识别小票金额、框出画面里的车
video-memory长视频记忆:层次化图记忆,支撑超长视频问答对 2 小时的讲座视频提问,自动构建记忆索引
omni-av原生音视频理解:带时间戳/说话人标签的 ASR,分段描述,事件计数,音乐标签会议转写、统计传球次数、分析歌曲情绪与乐器
video-edit视频剪辑 + 生成:剪辑工作流,以及图/视/音频生成快速剪短视频、生成创意素材
blenderBlender 三维建模:驱动运行中的 Blender,执行建模/材质/灯光/渲染“建一个低多边形木凳并渲染”
freecadFreeCAD 参数化 CAD:驱动运行中的 FreeCAD,执行建模/导入导出/FEM 分析“建一颗 M6 螺栓并导出 STEP”
edu-agent讲题视频:把数学/理科题变成一步步讲解的中文视频(纯 Skill)自动生成解题教学视频

为什么它很强?

  1. 动态分辨率读取:这是核心技术亮点。无论是 4K 截图上的细小文字,还是模糊的小缩略图,插件都会自动将其缩放到 VL 模型最适合的 Patch Grid 尺寸。你不需要手动预处理图片,模型总能看清该看的地方。
  2. 模块化与解耦:每个能力独立安装。如果你只需要读 PDF,就只装 core;如果需要搞 3D 设计,再装 blender。不用的模块不会占用资源。
  3. 广泛的 Harness 支持:通过引导式安装器,它可以无缝接入 Claude Code、Codex、Qoder、OpenClaw、Qwen Code 甚至 Gemini CLI。底层调用各 Harness 的原生安装机制,不重造轮子。
  4. 自动化依赖管理:基于 uv 和 uvx,首次启动时自动在隔离环境中安装 Python 依赖,无需你手动 pip install 搞乱系统环境。

快速上手

1. 一键安装(推荐)

在终端运行以下命令,启动引导式菜单:

curl -fsSL https://raw.githubusercontent.com/QwenLM/Qwen-MM-Plugins/main/install.sh | bash

注意:Windows 用户建议使用 WSL2(Ubuntu),并在 WSL home 目录下操作。

2. 配置 API Key

部分高级功能(如 Omni 音视频、联网搜索)需要 API Key。安装器会引导你配置 ~/.qwen-mm-plugins/config:

  • DASHSCOPE_API_KEY:用于视觉理解、OCR、音视频处理等。
  • SERPER_API_KEY:用于联网搜索和图片搜索。

3. 开始使用

安装完成后,在你的 Agent Harness(如 Claude Code)中直接引用文件提问即可:

  • 读图:@dashboard-4k.png 读出这张仪表盘里的每一个数字。
  • 读长视频:@lecture-2h.mp4 这段视频的主要观点是什么?带上时间戳。
  • 3D 建模:建一个低多边形木凳,加一盏暖色主光,然后渲染出来。(需本地开启 Blender)
  • CAD 设计:建一颗 M6 六角螺栓、长 30 mm,导出成 STEP。(需本地开启 FreeCAD)

相关导航