Zoom研究团队推出全新语言模型推理范式CoD：试图通过模仿人类的简洁思维过程，通过减少语言模型在推理过程中生成的冗余信息

Zoom研究团队提出了一种全新语言模型推理范式——「草稿链（Chain-of-Draft, CoD）」，试图通过模仿人类的简洁思维过程，通过减少语言模型在推理过程中生成的冗余信息，提高推理效率，同时保持或提升推理的准确性，从而节省成本。数据显示，相同的任务，使用 CoD 能将 Token 使用减少 80%，大幅度降低成本。

• GitHub：https://github.com/sileix/chain-of-draft
• 论文：https://arxiv.org/html/2502.18600v1

以一个简单的数学问题为例：“Jason有20个棒棒糖，他给了Denny一些后，现在剩下12个。Jason给了Denny几个棒棒糖？”

• 传统方法（Chain of Thought，CoT）：模型会详细地逐步推理：“首先，Jason有20个棒棒糖。然后，他给了Denny一些后剩下12个。我们需要计算差值来找出他给了Denny多少个棒棒糖。用20减去12，结果是8。因此，Jason给了Denny 8个棒棒糖。”
• Chain of Draft（CoD）方法：模型直接输出推理的关键步骤：“20 - x = 12；x = 20 - 12 = 8。”这种方式更简洁，直接聚焦于核心计算，减少了不必要的冗长描述。

主要功能

• 高效推理：通过生成更简洁的中间推理步骤，减少语言模型在推理过程中生成的冗余信息，从而提高推理效率。
• 降低计算成本：显著减少推理过程中使用的token数量，降低计算资源消耗和推理延迟。
• 保持或提升准确性：在减少冗余的同时，保持与传统推理方法相当甚至更高的推理准确性。

主要特点

• 简洁性：强调生成简洁的推理步骤，类似于人类在解决问题时使用的草稿或笔记，只保留关键信息。
• 适应性：适用于多种类型的推理任务，包括算术推理、常识推理和符号推理。
• 灵活性：可以与现有的语言模型和推理框架结合使用，不依赖于特定模型架构。

工作原理

CoD的核心思想是模拟人类解决问题时的高效思维方式。人类在解决复杂问题时，通常会记录关键的中间结果，而不是详细描述每一步的推理过程。CoD通过以下方式实现这一目标：

1. 限制推理步骤的长度：在每个推理步骤中，模型被引导生成不超过5个单词的简洁输出，迫使模型只关注关键信息。
2. 分步推理：模型仍然按照分步的方式进行推理，但每一步都更加紧凑，避免冗长的描述。
3. 结合少量样本提示：通过提供少量的示例，帮助模型理解如何生成简洁的推理步骤。

具体应用场景

1. 实时问答系统：在需要快速响应的场景中，如在线客服或智能助手，CoD可以显著降低延迟，提供更高效的推理服务。
2. 教育领域：在自动解题系统中，CoD可以生成简洁的解题步骤，帮助学生更好地理解解题过程，同时减少冗余信息的干扰。
3. 大规模推理任务：在需要处理大量推理任务的场景中，如数据分析或自动化决策系统，CoD可以降低计算成本，提高系统的整体效率。
4. 资源受限的设备：在计算资源有限的设备上（如移动设备或嵌入式系统），CoD可以减少对计算资源的需求，使复杂的推理任务能够在这些设备上运行。