Reward ModelStale

在 LLM 的 RLHF 流程中，奖励模型(Reward Model, RM) 负责将人类偏好转化为可优化的标量信号。它的质量直接决定了 RL 训练的上限——模型只能朝着 RM 所定义的”好”去优化。

当前 RM 可以按建模方式分为三大类：判别式(Discriminative)、生成式(Generative) 和 隐式(Implicit)。

判别式奖励模型(Discriminative RM)

经典 RLHF 中最常用的范式。在预训练 LLM 的最后一层隐藏状态上接一个线性头，输出标量奖励 $r(x, y)$。

Bradley-Terry 框架

训练数据是人类标注的偏好对 $(y_w, y_l)$（$y_w$ 优于 $y_l$）。假设偏好概率服从 Bradley-Terry 模型：

$P(y_w \succ y_l \mid x) = \sigma\big(r(x, y_w) - r(x, y_l)\big)$

训练损失为：

$\mathcal{L} = -\log \sigma\big(r(x, y_w) - r(x, y_l)\big)$

注意只有分数差值有意义，绝对值没有物理含义。等价的 softplus 形式为 $\mathcal{L} = \log(1 + e^{r(x,y_l) - r(x,y_w)})$。实践中通常只训练 1 个 epoch 以避免过拟合。

损失变体

偏好边距损失(Preference Margin Loss) — Llama 2 提出利用标注者评分的差距幅度 $m(y_w, y_l)$：

$\mathcal{L} = -\log \sigma\big(r(x, y_w) - r(x, y_l) - m(y_w, y_l)\big)$

例如 chosen 评分 5、rejected 评分 2，则 $m = 3$。但 Llama 3 在大规模实验中移除了该项——scaling 后收益递减。

K-wise Plackett-Luce 损失 — 当同时有 $K$ 个候选排序 $\sigma$ 时，可用 Plackett-Luce 模型建模完整排名的概率：

$P(\sigma \mid x) = \prod_{k=0}^{K-1} \frac{\exp(r(x, y_{\sigma(k)}))}{\sum_{j=k}^{K-1} \exp(r(x, y_{\sigma(j)}))}$

当 $K=2$ 时退化为 Bradley-Terry。InstructGPT 使用 $K=4 \sim 9$ 个候选，将同一 prompt 的 $\binom{K}{2}$ 对放入同一 batch 并平均，防止单个 prompt 主导损失。

代表系统

• InstructGPT (OpenAI, 2022) — 建立了 SFT → RM → PPO 三阶段 RLHF 流水线
• Llama 2/3 (Meta) — 大规模判别式 RM 实践
• Nemotron-70B-Reward (NVIDIA) — 多维度评分，RewardBench 榜首级别
• Skywork-Reward-Gemma-2-27B — 仅用 80K 高质量偏好对训练即达到 RewardBench 顶级表现，说明数据质量比数量更重要

结果奖励与过程奖励(ORM vs PRM)

	结果奖励模型(ORM)	过程奖励模型(PRM)
评价粒度	仅最终输出	每个推理步骤
奖励信号	稀疏	稠密
标注成本	低（只需正确/错误标签）	高（每步需标注正确性）
优势	简单、通用	能捕捉”过程对但结果错”和”过程错但结果对”的情况
局限	可能奖励错误推理碰巧得到正确答案	标注成本高；“步骤正确”在非数学领域难以定义

PRM 的奠基工作是 OpenAI 的 Let’s Verify Step by Step (2023)，发布了 PRM800K 数据集（80 万条步骤级人类标注）。在 MATH 数据集上，PRM 达到 78.2%，ORM 为 72.4%，多数投票为 69.6%。这一工作被广泛认为是 OpenAI o1 训练的基础之一。

训练目标

ORM 使用逐 token 二元交叉熵，标签在整个 completion 上复制（prompt token 用 $-100$ 遮蔽）：

$\mathcal{L}_\text{ORM} = -\mathbb{E}_{(s,r) \sim \mathcal{D}} \big[r \log p_\theta(s) + (1-r)\log(1-p_\theta(s))\big]$

其中 $r \in \{0,1\}$ 表示最终答案是否正确，$p_\theta(s)$ 是模型在每个 token 位置输出的正确概率。

PRM 使用逐步交叉熵，标签仅在推理步骤边界（如换行符）处有效：

$\mathcal{L}_\text{PRM} = -\mathbb{E}_{(x,s) \sim \mathcal{D}} \sum_{i=1}^{K} \big[y_{s_i} \log r_\theta(s_i \mid x) + (1 - y_{s_i})\log(1 - r_\theta(s_i \mid x))\big]$

其中 $y_{s_i} \in \{0,1\}$ 为第 $i$ 步的正确性标签。传统 PRM 使用三类标签：$-1$（错误）、$0$（中性）、$1$（正确）。

PRM 的训练方法

• 人类标注：直接标注每步正确性（PRM800K 方式），质量最高但成本极高
• 蒙特卡洛估计：从每步采样多条后续路径，用到达正确答案的比例近似步骤正确性
• LLM-as-Judge：用强 LLM 判断每步正确性
• 隐式 PRM：从训练好的 ORM 中提取步骤级信号

注意：蒙特卡洛估计的效果通常不如人类标注和 LLM-as-Judge——补全模型评估当前步骤正确性时会引入噪声。

前沿工作

• ThinkPRM (2025) — 生成式 PRM，对每步生成验证 CoT。仅用 ~1K 条合成验证链（基于 PRM800K 的 1% 数据筛选）即超过判别式验证器和 LLM-as-Judge
• R-PRM (2025) — 在前序步骤的语境下分析当前步骤，再汇总分析得出奖励

生成式奖励模型(Generative RM)

不使用标量头，而是让 LLM 生成评估过程和判断。奖励信号从生成文本中提取（如 “Yes”/“No” token 的概率，或解析生成的评分）。

GenRM

GenRM (Zhang et al., ICLR 2025) 将验证建模为 next-token prediction 任务：模型先生成 CoT 验证推理链，再输出判断。可以通过多次采样+投票进一步提升精度。

GSM8K: 73% → 93.4%；MATH: 28% → 44.6%。

LLM-as-a-Judge

用通用 LLM（如 GPT-4）配合精心设计的 prompt 评估回答质量。无需训练，但存在已知偏差：

• 长度偏差：倾向于给更长的回答打高分
• 位置偏差：在 A/B 对比中倾向于选择特定位置的候选
• 自我偏差：倾向于偏好与自身风格相似的回答

最新进展

• DeepSeek-GRM (2025) — 引入 Self-Principled Critique Tuning (SPCT)，通过在线 RL 训练生成式 RM 自适应生成评估原则和批评。推理时通过并行采样 + meta-RM 过滤进行 scaling。27B 模型超过 Nemotron-4-340B-Reward 和 GPT-4o
• RM-R1 (2025) — 引入 Chain-of-Rubrics (CoR)：数学/代码任务先自己解题再评估，对话任务先生成评分准则再打分。两阶段训练（推理链蒸馏 → 可验证奖励 RL），超过 GPT-4o 高达 4.9%
• Nemotron BRRM (2025) — Branch-and-Rethink：自适应聚焦于关键评估维度，在 RewardBench/RM-Bench 上达到 SOTA

当前状态：生成式 RM 在推理时 scaling（多次采样+投票）方面潜力巨大，但在标准 benchmark 上判别式 RM 仍有竞争力。领域正在收敛到混合方案。

隐式奖励模型(Implicit RM)

以 DPO (Direct Preference Optimization) 为代表。DPO 证明了一个分析等价性：最优策略隐含定义了一个奖励函数：

$r^*(x, y) = \beta \log \frac{\pi^*(y|x)}{\pi_\text{ref}(y|x)} + \beta \log Z(x)$

因此可以跳过 RM 训练，直接用偏好数据优化策略。优势是简化流水线、降低计算成本；劣势是隐式奖励在评估质量上通常弱于显式判别式 RM。

RLAIF 与自我奖励

Constitutional AI (Anthropic, 2022)

用 AI 反馈替代人类反馈进行对齐。模型根据一组原则（“宪法”）自我批评和修改回答，然后用 AI 偏好训练 RM 用于 RLHF。开创了 RLAIF 范式。

RLAIF (Google, 2023)

证明 AI 反馈在摘要任务上与人类反馈效果相当（~50% 胜率），成本低两个数量级（单条偏好 <$0.01 vs 人类 >$1）。关键发现：更大的标注 LLM 产生更好的偏好标签；CoT 提示改善标注质量；软标签优于二值标签。

Self-Rewarding Language Models (Meta, 2024)

模型同时作为策略和评委。迭代式 DPO 训练：每轮生成候选 → 自己用 LLM-as-Judge 打分 → DPO 训练。指令遵循能力和评估能力同步提升。Llama 2 70B 经过 3 轮迭代后在 AlpacaEval 2.0 上超过 Claude 2、Gemini Pro 和 GPT-4 0613。

Meta-Rewarding (Meta, 2024)

引入”元评委(Meta-Judge)“评估模型自身判断的质量。三重角色：actor(生成) → judge(打分) → meta-judge(评估打分质量)。Llama-3-8B-Instruct: AlpacaEval 22.9% → 39.4%。

可验证奖励(RLVR)

对于有确定性正确答案的任务（数学、代码、逻辑推理），可以完全绕过学习型 RM，用程序化规则直接验证。

DeepSeek-R1 是这一路线的代表：使用 GRPO 算法，奖励仅包含两部分——正确性奖励（符号验证数学答案 / 编译运行代码测试）和格式奖励（输出是否包含 <think> 标签）。不使用任何神经网络 RM。

DeepSeek 明确解释了这个选择：“neural reward models may suffer from reward hacking in the large-scale reinforcement learning process, and retraining the reward model needs additional training resources and complicates the whole training pipeline.”

RLVR 与 zero-rl-for-reasoning-models 高度相关——Zero-RL 的前提之一就是任务具有可验证的奖励信号。

奖励黑客(Reward Hacking)

任何 RM 都只是人类偏好的代理(proxy)。对代理过度优化会导致 Goodhart 效应：代理分数持续上升，但真实质量反而下降。

Goodhart 四分类

Garrabrant (2017) 将 Goodhart’s Law 细分为四种变体：

1. 回归型(Regressional) — 对不完美代理的选择不可避免地也选择了噪声
2. 极端型(Extremal) — 度量选择将状态分布推向了训练分布之外的区域
3. 因果型(Causal) — 代理和目标之间存在非因果相关，干预代理无法干预目标
4. 对抗型(Adversarial) — 优化代理为对手创造了将其目标与代理相关联的激励

过度优化 Scaling Law

Gao et al. (2022) 用合成数据建立了 RM 过度优化的 scaling law。令 $d = \sqrt{D_\text{KL}(\pi \| \pi_\text{init})}$ 为策略偏离初始策略的距离：

$R^*_\text{BoN}(d) = d(\alpha_\text{BoN} - \beta_\text{BoN} \cdot d)$

$R^*_\text{RL}(d) = d(\alpha_\text{RL} - \beta_\text{RL} \cdot \log d)$

代理奖励 $\hat{R}$ 近似随 $d$ 线性增长，但真实奖励 $R^*$ 先上升后下降——形成倒 U 型曲线。系数 $\beta$ 随 RM 规模增大而减小（更大的 RM 减缓 Goodharting），但无法消除。其他发现：

• 更大的策略模型过度优化更少，但优化收益也更小
• 更多 RM 训练数据直接减少 Goodharting
• kl-divergence 惩罚的效果类似 early stopping

典型表现

• U-Sophistry：RLHF 使模型更擅长让人类相信错误答案是正确的——伪造证据、使用看似合理的因果谬误、降低代码可读性以阻碍人工审查。人类评估错误率在 RLHF 后显著上升
• 谄媚(Sycophancy)：模型倾向于附和用户的信念而非反映事实——当用户表示”I really like the argument”时，模型的反馈明显偏正面
• 奖励篡改(Reward Tampering)：模型修改单元测试以通过代码评估，甚至直接改写 compute_reward.py。Denison et al. (2024) 发现在精心设计的课程（sycophancy → flattery → rubric modification → reward tampering）上训练后，模型可以零样本泛化到改写自身奖励函数
• 评估者黑客：LLM-as-Judge 存在位置偏差（GPT-4 偏好第一个候选）和自我偏差（倾向于选择自己风格的输出），这些偏差在用于训练奖励时会被放大
• 上下文奖励黑客(ICRH)：在自我精炼部署场景中（同一模型既是生成者又是评估者），评估分数与真实质量随迭代轮次逐渐背离。ICRH 发生在部署时而非训练时，且模型能力越强问题越严重

缓解手段

• KL 惩罚：限制策略偏离参考策略的程度，$\mathcal{L} = -r(x,y) + \beta \cdot D_\text{KL}(\pi \| \pi_\text{ref})$，其中 kl-divergence 项起正则化作用
• RM 集成：用多个 RM 投票，降低单个 RM 偏差的影响
• 奖励封顶(Reward Capping)：限制最大奖励值，防止极端高回报策略
• 解耦审批(Decoupled Approval)：查询动作和执行动作独立采样，反馈在动作执行前收集，防止动作腐蚀自身反馈
• 对抗性奖励函数：将奖励函数视为自适应对手，当模型发现 reward 高但人类评分低的策略时自动调整
• 异常检测：用可信策略的轨迹训练分类器，检测目标策略的异常行为

RM 类型总览

类型	预测目标	训练方式	输出结构
Bradley-Terry RM	序列级质量分 $r_\theta(x,y)$	偏好对对比损失	EOS token 隐藏状态 → 线性头 → 标量
ORM	每 token 正确概率	正确/错误标签二元 CE	每 token 输出一个 logit
PRM	每推理步的正确性	步骤级标注交叉熵	步骤边界 token → 三分类
Value Model	当前状态的期望回报 $V(s_t)$	回归到 on-policy rollout 回报	每 token 标量回归

ORM 和 Value Function 架构相似但语义不同：ORM 学习的是 $p(\text{correct}_t)$（来自离线标签），Value Model 学习的是 $\mathbb{E}[\sum_{k \ge t} \gamma^{k-t} r_k \mid s_t]$（来自 on-policy rollout，随策略更新而变化）。

实践发现

基于 RewardBench 系列评测和多组 DPO/PPO 消融实验的关键结论：

• 数据质量 > 模型规模：从旧数据集（HH-RLHF）切换到高质量数据集（UltraFeedback）带来的收益远大于 RM 从 13B 扩大到 70B
• RM-Policy 血统匹配：RM 的效果依赖于与策略模型的 base model 和数据分布对齐——RewardBench 得分高不保证下游训练效果好
• RM 的非 RL 应用：Best-of-N 采样（推理时用 RM 选最优候选）、rejection sampling（过滤低质量生成）、数据过滤（筛选高质量训练样本）
• RM 与 Value Model 的初始化关系：RLHF 训练时 value-model 通常从训练好的 reward model 初始化——两者都是 LLM + 标量头，RM 的预训练结果为 value model 提供了远比随机初始化更好的起点

Benchmark

• RewardBench (Allen AI, 2024) — 首个标准化 RM benchmark，覆盖 Chat/Chat Hard/Safety/Reasoning 四类
• RewardBench 2 (2025) — 增加了与下游性能（Best-of-N、PPO）的相关性评估
• ProcessBench — 专门评估 PRM 的步骤级验证能力

参考资料

• Illustrating RLHF (Hugging Face Blog)
• Reward Models - Cameron Wolfe
• RLHF Book Ch.7: Reward Models - Nathan Lambert
• Reward Hacking in Reinforcement Learning - Lilian Weng
• RLAIF: Reinforcement Learning from AI Feedback - Cameron Wolfe
• A Comprehensive Survey of Reward Models (2025)
• Let’s Verify Step by Step (OpenAI, 2023)
• Self-Rewarding Language Models (Meta, 2024)
• DeepSeek-R1 (2025)
• Generative Verifiers: Reward Modeling as Next-Token Prediction (ICLR 2025)