Zero-RL for Reasoning ModelsStale

零启动强化学习(Zero-RL) 通常指：不先经过专门的推理 监督微调(Supervised Fine-Tuning, SFT) 或蒸馏 warm start，而是直接从 base model 开始做 强化学习(Reinforcement Learning)。算法侧目前事实标准是 GRPO + 可验证奖励(RLVR) 的组合，由 DeepSeek-R1 推广开来。

它想解决什么问题

• 直接检验 base model 本身是否已经具备足够的推理先验。
• 让 RL 自己去放大已有的思考模式，而不是先靠高质量长链路标注把路径教给模型。
• 暴露 base model 的真实短板，例如思考范式不足、格式不稳定、探索模式单一。

为什么 Zero-RL 难

• 如果 base model 不能自发产生有效的推理轨迹，则 Zero-RL 怎么做都难以生效。
• 训练配置稍有问题，模型可能迅速塌到短回答、坏格式或低探索状态，从而导致之后的探索完全无效。

Zero-RL 能够有效的关键前提

base model 的思维范式密度足够

• 如果 base model 里已经有较多 验证(verification)、问题分解(decomposition)、回溯(backtracking)、逆向推理(backward chaining) 之类的模式，Zero-RL 更容易起效。
• 如果这类模式密度太低，RL 往往只能在很弱的起点上挣扎，收敛速度和上限都会受限。
• 因此，有的工作指出通过一些面向 reasoning pattern 的 SFT（或者说 继续预训练(continue pretraining)）来提高成功率。

常见 trick

下面这些 trick 往往决定 Zero-RL 是进入正循环，还是在训练早期就快速塌缩。

检查 base model 本身能力

• Zero-RL 的失败，很多时候不是 RL 算法本身差，而是 base model 的 reasoning prior 不够。
• 如果同样的算法和超参数，在不同 base 上结果差异巨大，优先怀疑 base 的思维范式覆盖，而不是先改 reward。

prompt template 会强烈影响行为分布

• 不同 prompt template 会显著改变模型是否倾向输出长推理、代码、反思或格式标签。
• 比如说，在做 coding agent 的训练时，如果模板诱导模型输出大量 code 但因为一些原因无法作对，那么训练早起可能就会把模型“生成代码”的行为尝试和相关错误思考过程一起惩罚掉。

小心 stop token 和格式坍塌

• 一些特殊的 token 可能涉及到模型训练的 stop token，比如在 prompt 中要求模型输出 <think> 之类的标签时，可能因为 stop token 的设置影响到了模型的 rollout 流程。
• 如果不解决此类问题，模型只可能在错误的分布上继续优化。

比如 Qwen3 系列模型中，因为把 <think> 放到了词表中，如果通过 prompt 要求 Qwen3 Instruct 系列模型输出 <think> 或者要求模型输出不符合预先训练模式的思考模板时，模型就会严重坍缩出现低质量重复等等问题。