Meta FAIR提出 Darling：用强化学习平衡大语言模型生成质量与语义多样性

155 0

由 Meta FAIR、卡内基梅隆大学与约翰霍普金斯大学联合提出的新框架 Darling（Diversity-Aware Reinforcement Learning for Generation），解决大语言模型在后训练中普遍存在的“高质量但低多样性”问题。该方法通过引入语义层面的多样性度量，并将其与质量奖励联合优化，在保持输出准确性的同时，显著提升生成内容的创新性和思想广度。

论文地址：https://arxiv.org/abs/2509.02534

这一进展为语言模型在创意写作、头脑风暴、开放性问题求解等任务中的应用打开了新空间。

Meta FAIR提出 Darling：用强化学习平衡大语言模型生成质量与语义多样性

问题背景：后训练为何让模型“变呆”？

在标准的大模型训练流程中，后训练阶段（如RLHF）主要目标是提升响应的准确性、安全性和帮助性。这类优化通常依赖人类偏好数据或自动质量评分，引导模型趋向“最优解”。

但这种优化也带来副作用：模型输出趋于收敛到少数高分模式，形成“安全但重复”的表达习惯。例如，面对“讲一个关于时间旅行的故事”，多个生成结果可能结构雷同、情节趋同——虽然语法正确、逻辑通顺，却缺乏真正的新意。

这种现象被称为分布锐化（distribution sharpening），它削弱了模型在探索性任务中的潜力。

Darling 的核心理念正是对此做出回应：

我们不仅希望模型回答得对，还希望它能想得更多、说得不同。

Darling 做了什么？

Darling 是一种多样性感知的强化学习框架，其目标是让语言模型在生成高质量内容的同时，保持语义上的多样性。

具体来说，它实现了三个关键能力：

✅ 质量保障：保留传统强化学习对响应质量的优化能力。
✅ 语义多样性建模：不再依赖词级重复率等表面指标，而是学习识别响应之间的深层语义差异。
✅ 联合优化机制：将多样性信号作为奖励项，与质量奖励共同指导策略更新。

最终结果是：模型不仅能给出好答案，还能给出“不一样的好答案”。

核心技术：如何衡量“真正”的多样性？

传统方法常使用 n-gram 重复率或 BLEU 下降来间接反映多样性，但这些指标容易被同义词替换欺骗，无法捕捉思想层面的差异。

Darling 的突破在于引入了一个可学习的分区函数（learned partition function），其工作流程如下：

语义聚类：将一批模型生成的响应按语义相似性划分为若干簇。例如，“用火箭穿越黑洞”和“乘坐时光机回到恐龙时代”属于不同语义路径。
多样性评分：通过一个训练好的分类器判断新响应是否落入已有簇中。若为“新簇”，则赋予更高的多样性奖励。
奖励融合：将多样性奖励与质量奖励（如人类偏好得分、任务正确率）通过乘法结合，形成复合奖励函数：
```
R_{\text{total}} = R_{\text{quality}} \times (1 + \alpha \cdot R_{\text{diversity}})
```
这种乘法结构确保只有高质量且新颖的输出才能获得最高奖励。

整个过程在在线强化学习中动态执行，随着训练推进，模型逐渐学会在探索与利用之间取得平衡。