DeepSeek-R1：RLVR和GRPO如何驱动推理模型

概述

DeepSeek-R1 的发布引发了人们对大型语言模型如何被推向超越简单模式匹配、进入真正推理领域的强烈关注。与传统模型依赖直接的下一个词元预测不同，推理模型会生成显式的思维链——即内部独白，使它们能够在得出答案之前将复杂问题分解。这种架构转变不仅仅是一种提示工程技巧，而是复杂的训练流程的结果，主要是可验证奖励强化学习（RLVR）和组相对策略优化（GRPO）。

通过将模型行为与可验证的结果而非仅仅人类偏好对齐，DeepSeek 证明了开源模型在数学和逻辑任务中可以媲美专有系统。本分析探讨了这种方法的技术基础，考察 RLVR 和 GRPO 如何将预训练基础转化为强大的推理引擎。

从预测到验证的转变

传统大型语言模型使用下一个词元预测进行训练，基于现有文本语料库优化语言连贯性和事实准确性。虽然这种方法对一般语言任务有效，但在需要多步逻辑演绎的问题上却表现不佳，例如高等数学或复杂的编程挑战。推理模型通过在回应之前引入一个独立的“思考”阶段来解决这一差距。

“从零开始的推理涉及生成可以独立评估的中间步骤，使模型能够从自己的思维过程中学习，而不仅仅是模仿人类编写的解决方案。”

思维链是这些模型的标志。它们代表模型的内部独白，将查询分解为可管理的子问题。DeepSeek-R1 训练中的关键创新是从奖励听起来合理的回答转向奖励可验证的正确性。在数学等领域，存在一个客观真理——无论使用何种措辞来描述它，正确的答案都存在。这允许训练人员实施可验证奖励，其中奖励信号直接源自最终输出在数学或逻辑上是否正确。

这种方法与传统**来自人类反馈的强化学习（RLHF）**形成了鲜明对比。RLHF 依赖于人类标注员根据主观质量（如有用性或语气）对回应进行排名。虽然对对话式人工智能有用，但人类反馈往往噪音太大或成本太高，无法用于训练严格的逻辑推理。可验证奖励提供了一个稀疏但清晰的信号：答案要么正确（奖励），要么错误（惩罚），消除了人类偏好数据固有的歧义。

GRPO 与 PPO：一种实用的优化

为了利用可验证奖励，DeepSeek 使用组相对策略优化（GRPO），这是一种比广泛使用的**近端策略优化（PPO）**更高效的算法。虽然 PPO 被认为是强化学习中的黄金标准，但它需要训练两个单独神经网络：一个用于策略（执行者），另一个用于估计值（评论家）。这种双网络要求显著增加了内存消耗和计算开销，使其难以扩展到大型语言模型。

GRPO 通过消除对评论家网络的需求来简化这种架构。相反，它仅使用策略网络本身来估计优势函数——即衡量特定动作比组内平均动作好多少的指标。通过对同一提示采样多个回应并比较它们的奖励，GRPO 可以在不维护单独价值估计器的情况下计算相对改进。

理解这一区别的一个有益方法是使用烹饪类比。想象一位厨师（模型）试图改进食谱。在 PPO 中，厨师有一位味觉测试员（评论家）在菜肴上桌前预测每道潜在菜肴的味道。在 GRPO 中，厨师只是烹饪几道菜肴的变体，品尝所有菜肴，并直接比较结果。厨师从组内最佳和最差结果之间的相对差异中学习。

这种复杂性的降低允许更快的训练周期和更低的内存需求。该算法通过使用 kl-散度项保留 PPO 的稳定性，以防止模型偏离其原始预训练权重太远，确保模型在学习新推理策略时不会忘记基础语言能力。

实施与训练动态

为推理模型实施 GRPO 涉及一个严格的流程，该流程从加载预训练基础模型和专用数据集（如MATH-500基准开始，其中包含具有经过验证解决方案的高质量数学问题。训练过程分为几个关键阶段：响应采样、奖励计算、优势估计和策略更新。

首先，模型为每个训练示例采样多个响应。这些响应构成一个“组”，允许算法比较同一问题的不同推理路径。然后系统通过检查最终答案是否与真实答案匹配来计算可验证奖励。正确解决的问题产生正向奖励，而错误则导致惩罚。

接下来，算法通过在每个组内规范化奖励来计算优势。这一步至关重要，因为它隔离了不同思维链的相对质量。如果一个思维链导致正确答案而另一个不导致，它们奖励的差异突出显示了哪种逻辑路径更有效。然后模型更新其参数，以增加生成高优势思维链的概率，同时抑制低优势的思维链。

“通过仔细平衡学习率和 KL 惩罚来保持训练稳定性，确保模型在提高推理能力的同时不会对特定类型的问题过拟合。”

在训练期间，人们非常关注推理努力和答案长度。推理模型的早期迭代通常会产生过长且冗长的思维过程。为了应对这种情况，训练人员引入了惩罚不必要冗长的奖励，同时仍允许足够的长度用于复杂问题解决。这鼓励模型找到简洁而严谨的逻辑路径。

这种训练方案的结果是惊人的。使用 GRPO 和 RLVR 微调的模型在 MATH-500 等基准测试中显示出实质性的改进。更重要的是，它们表现出顿悟时刻——能力突然跃升，模型在学习自我纠正或在遇到困难示例后重新构建问题方面取得了进展。这些突破表明，模型不仅仅是记忆解决方案，而是在发展一种通用的能力，以通过不熟悉挑战进行推理。

随着领域的发展，可验证奖励与像 GRPO 这样的高效优化算法的组合将成为开发下一代人工智能系统的标准范式。通过专注于可以客观测量和验证的内容，研究人员正在以前所未有的水平解锁模型的逻辑性能，这些模型此前仅限于概率性猜测。