Cmpnd 发布 dspy-wsp:将权重空间编程引入 DSPy,实现无梯度、低成本的模型权重直接编辑

工具2天前发布 小马良
6 0

Cmpnd 正式推出 dspy-wsp,这是一个将前沿的“权重空间编程”(Weight-Space Programming, WSP)技术集成到 DSPy 框架中的原型优化器。通过名为 WeightSpace 的模块,开发者可以利用大型语言模型(LLM)直接读取并编辑小型决策模型的权重张量,无需传统的梯度下降、训练循环或微调数据集。这一创新为小型模型的快速迭代和性能提升提供了一种低成本、高精度的新路径。

  • GitHub:https://github.com/cmpnd-ai/dspy-wsp
Cmpnd 发布 dspy-wsp:将权重空间编程引入 DSPy,实现无梯度、低成本的模型权重直接编辑

核心概念:从提示优化到权重编辑

在传统的 DSPy 工作流中,开发者通常通过优化提示词(如 MIPROv2)或进行微调(如 BootstrapFinetune)来提升模型表现。而权重空间编程则开辟了第三条道路:

  • 提示优化:仅改变输入文本,模型权重不变。
  • 微调:通过梯度下降改变权重,需要大量数据和算力。
  • 权重空间编程 (WSP):由一个强大的“写入者”LLM(如 GPT-6-Astra)分析学生模型的权重张量,推理其计算逻辑,并直接编写代码修补特定权重以匹配自然语言描述的目标。

工作原理:三方协作的沙箱环境

dspy-wsp 的运行机制涉及三个关键角色:

  1. 学生 (Student):待优化的本地小模型(0.6B 到 9B 参数),其权重加载到 Python 进程中。
  2. 写入者 (Writer):前沿 LLM(推荐 GPT-6-Astra),负责推理权重结构并生成编辑代码。
  3. 沙箱 (Sandbox):安全执行环境(macOS 使用 sandbox-exec,Linux 使用 bubblewrap),用于运行写入者生成的权重读写代码。

优化流程:
写入者在限定的轮次(默认 25 轮)内工作。每轮它可以选择:

  • 读取/编辑权重:生成 Python 代码直接在沙箱内修改张量。
  • 前向传递验证:在练习集上运行模型,观察输出变化。
    当预算用尽后,系统会在隐藏的验证集上对比原始模型与编辑后模型的表现,最佳编辑将被保存为补丁。

性能表现:小模型增益显著

在 Typed Decisions 基准测试中,WeightSpace 展现了惊人的优化能力,尤其是在与 Cmpnd 的另一款优化器 ReAnchor(重新校准输出阈值)结合使用时:

模型未优化准确率WeightSpace (+16.1)ReAnchor (+9.3)WS + ReAnchor (+18.3)
d1-omni-600M50.9%66.9%60.2%69.1%
NanoJev (0.6B)39.2%52.4%50.7%56.4%
d1-2B60.6%74.0%70.1%77.9%
Clef-Flash (9B)68.8%70.7% (+1.9)70.3%75.3% (+6.5)

注:对于较大的 9B 模型,单独使用 WeightSpace 增益有限,但与 ReAnchor 结合后仍有显著提升。

成本与效率

  • 经济高效:每次优化运行(25 轮)的成本约为 5.42 至 7.63 美元(取决于写入者模型)。
  • 时间消耗:单次运行耗时约 78 至 167 分钟。
  • 资源需求:极低。2B 模型仅需约 6GB 内存,可在普通 Mac 或单张 GPU 上运行。

部署与兼容性

优化后的模型以“补丁”形式发布(仅包含更改的权重条目及哈希校验),确保可复现性:

  • 决策模型:可直接写入检查点并在本地运行(支持 Apple Silicon MLX 或 Linux PyTorch)。
  • 文本 LLM:可通过 dspy-wsp apply 命令应用补丁,并使用 vLLM 等服务引擎部署。
  • 支持后端:涵盖 Liquid AI d1 系列、NanoJev (Qwen3)、以及通过 VLLM/HF/MLX 后端支持的通用 LLM。

局限性与展望

尽管潜力巨大,dspy-wsp 仍处于实验阶段:

  • 规模限制:在较大模型(如 9B+)上的直接权重编辑效果递减,更适合作为辅助手段。
  • 速度较慢:相比自动化的梯度微调,LLM 推理驱动的编辑过程较为缓慢。
  • 规则敏感性:若严格禁止写入者在沙箱内重新计算决策头,性能增益会大幅缩水。

dspy-wsp 的发布标志着 AI 优化范式的一次重要探索:让 LLM 不仅作为内容生成者,更成为模型架构的直接“外科医生”。对于追求极致性价比和可控性的开发者而言,这提供了一把无需海量数据即可精调模型的瑞士军刀。

© 版权声明

相关文章