ComfyUI-AppleFastVLM：为 ComfyUI 打造的高效视觉语言模型节点，适用于图像描述、内容分析、自动化提示生成

为 ComfyUI 打造的高效视觉语言模型节点 —— 快速集成苹果FastVLM，支持 0.5B / 1.5B / 7B 模型，内置 4位/8位量化以提升内存效率

• GitHub：https://github.com/OBJ-WTF/ComfyUI-AppleFastVLM

本项目将 苹果FastVLM 高效集成至 ComfyUI 工作流系统，提供极致推理速度和低显存占用的多模态体验。适用于图像描述、内容分析、自动化提示生成等场景。

苹果推出视觉语言模型FastVLM：用更少的视觉 Token，更快理解高分辨率图像

核心特性

系统要求

运行环境

⚠️ 注意：目前暂不支持 Apple Silicon（M系列芯片）原生运行。

模型资源需求

📌 提示：通过启用 4位量化（load_in_4bit=True），7B 模型可在 8GB 显存设备上运行，但推理速度略有下降。

安装指南

1. 克隆节点到自定义目录

cd ComfyUI/custom_nodes
git clone https://github.com/yourusername/ComfyUI-AppleFastVLM.git

2. 安装核心依赖

cd ComfyUI-AppleFastVLM
pip install -r requirements.txt

❗ 若 bitsandbytes 安装失败（常见于 Windows），可暂时禁用量化功能：

在节点配置中设置：

load_in_4bit = False
load_in_8bit = False

3. 安装 Apple FastVLM 库

cd ..
git clone https://github.com/apple/ml-fastvlm.git
cd ml-fastvlm
pip install -e .

下载与部署模型

创建检查点目录

在 ml-fastvlm 根目录下创建：

mkdir -p checkpoints/

并将下载的权重解压至对应文件夹：

checkpoints/
├── llava-fastvithd_0.5b_stage3/
├── llava-fastvithd_1.5b_stage3/
└── llava-fastvithd_7b_stage3/

模型下载链接（官方发布）

• 网盘下载：https://pan.quark.cn/s/a31780d09546?pwd=FHa2

✅ 解压后请确认包含以下关键文件：

• config.json
• pytorch_model.bin 或分片 .safetensors
• tokenizer.model

使用方法

在 ComfyUI 中添加节点

1. 右键点击画布 → “添加节点”
2. 导航路径：AppleVLM → FastVLM
3. 将图像输出连接至 image 输入端口
4. 设置提示词（prompt）与其他参数
5. 执行工作流

节点参数说明

必填输入

可选配置

温度（Temperature）调节指南

常见问题与解决方案

CUDA Out of Memory（显存不足）

症状：

RuntimeError: CUDA out of memory.

解决方式：

# 方法一：启用 4-bit 量化
load_in_4bit: True

# 方法二：切换为更小模型
model_path: checkpoints/llava-fastvithd_0.5b_stage3

# 方法三：减少输出长度
max_tokens: 128

❌ 模型无法加载

排查清单：

• ✅ 检查 model_path 是否指向正确的未压缩文件夹；
• ✅ 确认模型文件已完整解压（非 .zip 或 .tar.gz 压缩状态）；
• ✅ 运行验证命令测试环境是否就绪：

python -c "from llava.model.builder import load_pretrained_model; print('✅ FastVLM 安装成功')"

• ✅ 确保 ml-fastvlm 已通过 pip install -e . 正确安装。

输出质量差或不相关

尝试以下优化策略：

• 🔍 使用更大模型（如从 0.5B 升级到 7B）；
• 🎯 提供更具体的 prompt，例如：
  

  “请描述图中人物的动作、服装风格及背景环境”；

• 🖼️ 确保输入图像清晰、焦点明确；
• 🔧 调整 temperature 至 0.2~0.5 获取更稳定结果；
• 📢 查看终端日志，确认无模型加载警告或 tokenizer 错误。