HeavySkill

在大语言模型（LLM）处理数学、编程或复杂逻辑问题时，单次生成的答案往往受限于随机性或思维盲区。传统的 Best-of-N（多次采样取最优）策略虽然有效，但计算成本高昂且缺乏内在的逻辑校验机制。HeavySkill 是一种创新的测试时扩展（Test-Time Extension）技术，通过模拟人类的“头脑风暴”与“批判性审查”过程，将复杂推理分解为并行推理与顺序审议两个阶段，以更高的效率实现更优的推理质量。

研究表明，HeavySkill 在多项基准测试中持续优于 Best-of-N 策略，且更强的 LLM 通过审议机制可逼近昂贵的 Pass@N 性能上限。

核心亮点：结构化思考、批判性综合、灵活部署

1. 两阶段“重度思考”架构

HeavySkill 模仿人类专家解决难题的认知过程：

• 阶段 1：并行推理 (Parallel Reasoning)
  • 发散思维：对同一问题同时生成 K 条独立的推理轨迹。
  • 多样性保障：每条轨迹都是一个完整的思考过程，涵盖不同的解题路径、假设或切入点，避免陷入单一思维定势。
• 阶段 2：顺序审议 (Sequential Deliberation)
  • 收敛与批判：将 K 条轨迹汇总，由“审议者”进行交叉验证。
  • 元分析：识别逻辑错误、矛盾点及最佳实践，通过批判性分析剔除错误路径。
  • 综合输出：基于所有轨迹的优势，综合出一个逻辑更严密、答案更可靠的最终结果。
  • 可选迭代：支持多轮审议，进一步打磨答案精度。

2. 超越传统采样策略

• 优于 Best-of-N：不仅仅是投票选出出现频率最高的答案，而是通过理解推理过程来修正错误，因此在复杂任务中表现更佳。
• 高效逼近 Pass@N：通过智能审议，较小的 K 值即可达到传统方法需要大量采样才能实现的准确率，显著降低 Token 消耗。
• 可扩展性：推理深度（迭代次数）和宽度（K 值）可根据任务复杂度灵活调整，甚至可通过 RLVR（强化学习验证奖励）进一步优化。

3. 双模式部署，无缝集成

• 模式 A：Python 工作流（CLI/管道）
  • 适合批量评估、科研实验及自定义后端部署。
  • 支持异步处理，可指定独立的推理模型与审议模型（如用轻量模型生成轨迹，用强大模型进行审议）。
• 模式 B：Claude Code 技能（Prompt-Based）
  • 纯提示文件形式，可直接复制到 ~/.claude/skills/。
  • 在 AI 原生 IDE 中激活后，模型将自动遵循 HeavySkill 协议，适用于交互式复杂推理任务，无需额外代码基础设施。

快速开始

1. 安装

git clone https://github.com/wjn1996/HeavySkill.git
cd HeavySkill
pip install -e .

2. 使用模式 A：Python 工作流

单题推理示例：

python scripts/run_heavyskill.py \
    --query "Find the number of paths of length 16 on an 8x8 grid that change direction exactly four times." \
    --model "deepseek-r1" \
    --api_base "http://localhost:8080" \
    --reason_k 8 \
    --summary_k 4 \
    --prompt_type "stem" \
    --output "outputs/result.json" \
    --verbose

关键参数说明：

• --reason_k：并行生成的推理轨迹数量（默认 8）。
• --summary_k：审议阶段的采样/分析次数（默认 4）。
• --iterations：审议迭代轮数。
• --summary_model：可选，指定更强的模型专门负责审议（如 qwen3-32b），实现“小脑思考，大脑判断”。

批量处理：

python scripts/run_heavyskill.py \
    --input_file "examples/example_math.json" \
    --model "deepseek-r1" \
    --api_base "http://localhost:8080" \
    --output "outputs/batch_result.json"

3. 使用模式 B：Claude Code 技能

安装技能：

cp skill/heavyskill.md ~/.claude/skills/heavyskill.md

使用方法：
在 Claude Code 会话中，直接提出复杂问题，或显式调用技能（取决于配置）。模型将自动执行：

1. 生成多个独立推理代理。
2. 收集多样化轨迹。
3. 执行批判性元分析。
4. 输出综合后的最终答案。

API 兼容性

HeavySkill 支持任何兼容 OpenAI 格式的 API 端点，灵活性极高：

• 本地部署：vLLM, Ollama (http://localhost:11434)
• 云端 API：DeepSeek, Together AI, OpenRouter
• 混合架构：可分别指定推理端点和审议端点，优化成本与性能比。

HeavySkill 证明了“慢思考”的价值。在算力日益廉价的今天，通过结构化的并行与审议机制，我们可以用更聪明的方式挖掘 LLM 的潜力，而非仅仅依赖暴力采样。

无论是作为科研实验的工具，还是嵌入日常开发流程的 Claude Code 技能，HeavySkill 都为追求高精度推理的用户提供了一把利器。现在，启用 HeavySkill，让你的 AI 助手学会“三思而后行”。