IMG Dataset Refiner最新版

在训练高质量的 LoRA、SDXL 或 Flux 模型时，数据质量决定模型上限。然而，传统的数据集准备过程往往充斥着重复劳动：手动重命名、逐个打标、肉眼排查重复图、平衡概念比例……这不仅耗时，还容易引入人为偏差。

IMG Dataset Refiner 是一套由 Gradio 驱动的“类桌面”软件套件，专为 AI 模型创作者打造。它集成了视觉语言模型 (VLM)、智能图像处理和高级数据分析功能，让你能以精准、高效的方式可视化、编辑、清洗和导出图像数据集。

最新发布的 v4.0 Pro 版本更是引入了自定义词库、实时翻译和极致键盘导航，将手动编辑的效率提升至新高度。

核心亮点：智能、高效、可控

1. AI 赋能：本地 VLM 深度集成

• 自动打标 / 超级 OCR：通过 Ollama 或 LM Studio 本地运行 LLaVA/Qwen 等模型，自动生成高质量字幕或提取图中文字，100% 离线保护隐私。
• 现实检查与“幻觉猎手”：AI 对比图像与文本，自动删除描述不可见元素的标签，确保图文一致性。
• 概念隔离器：专门针对角色 LoRA 优化，AI 仅描述环境背景而忽略主体，防止主体特征泄漏到背景标签中。
• 视觉翻译器：将 Booru 风格标签智能转换为 Flux/SD3 偏好的自然语言句子。

2. v4.0 Pro 新增：极致编辑体验

• 自定义词库 (Lexicon)：保存常用标签列表，勾选后一键在选中图像上批量添加、删除或替换，标准化数据集从未如此简单。
• 实时翻译助手：集成 deep-translator，输入母语字幕，实时预览英文翻译并一键注入，或直接转换整个 .txt 文件。
• 键盘流操作：支持 PageUp/PageDown 快速切换图像，Ctrl+S 即时保存，无需鼠标点击，大幅提升编辑速度。
• 动态排序与双语 UI：支持按文件名排序，一键切换英/法界面，摆脱杂乱菜单。

3. 智能预处理与去重

• ImageHash 重复检测：自定义阈值扫描视觉相似图（包括裁剪版），提供直观的 A/B 删除界面，彻底清除冗余数据。
• 智能人脸裁剪：基于 OpenCV 自动以人脸为中心裁剪，优化肖像类数据集。
• 批量处理：高质量 Lanczos 下采样至指定分辨率（512/768/1024/1536px），自动处理透明 PNG，一键增量重命名文件与标签。

4. 高级分析与战略导出

• 共现矩阵热力图：交互式 Plotly 图表，可视化前 20 个标签的关联度，精准识别“概念泄漏”或偏差。
• 矛盾猎手：自动检测逻辑冲突标签（如“白天”+“夜晚”），提升数据纯净度。
• 自动平衡算法：设定概念出现目标比例（如 50% 男性/50% 女性），“贪婪”算法自动挑选最佳子集，实现数学级平衡。
• CivitAI 表格生成：一键导出统计报表，直接粘贴至模型发布页面。

推荐工作流：五步打造完美数据集

1. 预处理 (🖼️)：清理视觉重复项，规范重命名，调整分辨率。
2. AI 初标 (🤖)：使用本地 VLM (LLaVA/Qwen) 生成初始字幕基础。
3. 快速编辑 (👁️)：利用键盘导航和实时翻译，快速修正字幕，母语写作，英文输出。
4. 批量标准化 (⚡ + 📚)：填充自定义词库，多选图像批量添加/删除标签，统一风格。
5. 审计与导出 (📈 + 📁)：通过热力图检查偏差，使用自动平衡功能筛选子集，导出最终训练包。

快速开始

1. 安装依赖

pip install gradio pandas plotly imagehash opencv-python deep-translator

2. 运行应用

python lora_manager.py

浏览器将自动打开本地 Gradio 界面。

3. 配置本地 AI (可选)

• 启动 Ollama 或 LM Studio，加载支持的 VLM 模型（如 llava, qwen-vl）。
• 在 IMG Dataset Refiner 的 AI 设置栏中输入本地 API 地址，即可启用自动打标功能。

适用场景