PromptForge

PromptForge（PyPI 包名：tuneprompt）是一款专为开发者和 AI 工程师设计的本地化提示词工程工具。它不仅能从七个维度对 LLM 提示词进行量化评分，还能利用轻量级本地模型将模糊、低效的提示词重写为清晰、结构化且保留原意的高质量指令。所有处理均在用户机器上完成，确保数据隐私与零延迟体验。

核心亮点

• 七维质量评分：
  • 基于微调的 ModernBERT-base (~150M) 模型，对提示词的清晰度、具体性、结构等七个关键维度进行打分。
  • 测试集 MAE 仅为 0.96，Pearson 相关系数高达 0.999，评分结果高度可靠。
• 智能提示优化：
  • 使用 Qwen2.5-1.5B-Instruct (LoRA) 模型，将弱提示词转化为包含背景、核心功能、技术栈要求及示例的结构化指令。
  • 示例效果：将 "Make an app about social media like facebook and stuff" 优化为包含用户画像、核心功能列表、技术约束（Python/Flask）及错误处理要求的详细规范，质量分从 41.5 跃升至 94.0。
• 本地优先与隐私安全：
  • 完全离线运行，无需上传敏感提示词至云端 API。
  • 支持 Python API、CLI 命令行及 Gradio Web 界面多种交互方式。
• 轻量化与可扩展：
  • 模型体积小，可在消费级 GPU（甚至 8GB 显存）或 CPU 上流畅运行。
  • 提供完整的训练脚本，允许用户使用自有数据集微调评分器与优化器。

快速开始

1. 安装

pip install tuneprompt

2. 下载模型

python -m promptforge download \
  --quality-repo ArjunShukla/PromptForge-Quality \
  --optimizer-repo ArjunShukla/PromptForge-Optimizer

3. 初始化与运行

python -m promptforge init
python -m promptforge run "Build me a website for a startup"

或者使用 CLI 快捷命令：

tuneprompt run "Make an app."

Python API 示例

from promptforge import PromptForge

# 初始化引擎
pf = PromptForge(
    quality_model_path="ArjunShukla/PromptForge-Quality",
    optimizer_model_path="ArjunShukla/PromptForge-Optimizer",
)

# 分析提示词质量
analysis = pf.analyze("Make an app.")
print(f"Quality Score: {analysis['score']}")

# 优化提示词
result = pf.run("Make an app about social media like facebook and stuff")
print(f"Optimized Prompt:\n{result['optimized_prompt']}")
print(f"Score Delta: +{result['delta']['quality_score']}")

高级配置与训练

• GPU 加速：对于 NVIDIA RTX 50 系列或其他现代显卡，建议安装 CUDA 版本的 PyTorch以获得最佳推理速度。

  pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128
  

• 自定义训练：
  • 评分器训练：python scripts/train_quality.py --require-gpu --regenerate
  • 优化器训练：python scripts/train_optimizer.py --require-gpu --fast --regenerate
  • 支持 4-bit 加载以应对显存受限环境 (load_in_4bit: true)。

适用场景

• 提示词调试：快速诊断为什么某个提示词效果不佳，并获得具体的改进建议。
• 自动化工作流：在 RAG 或 Agent 系统中嵌入 PromptForge，自动优化用户输入的自然语言查询。
• 团队协作：作为内部工具，帮助非技术人员编写符合规范的 AI 指令，提升整体产出质量。
• 数据标注辅助：利用评分器筛选高质量提示词-回答对，构建更优质的微调数据集。