Slime

slime 是一个面向大模型 强化学习(Reinforcement Learning) 与 post-training 的系统实体，重点不是单一算法，而是把训练后端、rollout 服务、低精度加速和 agent 交互串成一套可运行的工程链路。

它是什么

• 从这些博客的语境看，slime 更像一个 RL training framework / recipe 集合。
• 它关心的不只是 loss 怎么写，还包括 rollout 吞吐、训推一致性、量化、以及多轮 agent 训练。
• 因此它的定位更偏“RL 系统平台”，而不是单一模型或单篇论文。

主要贡献方向

1. 训练与推理链路的统一

• slime 反复强调 rollout 端和 training 端要作为同一个系统来设计。
• 例如它会直接讨论训推不一致、online weight freshness、speculative decoding 对 rollout 的影响。
• 这说明它不是把 serving 当外部黑盒，而是把 serving 视为 RL 主循环的一部分。

2. 多轮 agent 训练抽象

• slime 明确支持把环境交互逻辑抽象成独立 rollout function。
• 这让 multi-turn-rl 可以从单轮问答扩展到 tool use、VLM observation、连续交互任务。
• 其核心设计是 environment 与 rollout 解耦，而不是把某个特定数据集写死。

3. 面向 rollout 的系统加速

• speculative decoding 被直接用来提升 RL rollout 吞吐。
• FP8 与 INT4 QAT 也被放到“训练端与 rollout 端一起考虑”的框架里。
• 这类工作强调的不是单点峰值性能，而是端到端 RL 效率。

4. 训推一致性控制

• slime 专门把 训练-推理不一致(Training-Inference Mismatch) 当成一级问题来处理。
• 它既提供更严格的 truly on-policy 路线，也提供重要性采样式的算法修正。
• 这使它和很多只关注 reward 曲线的 RL recipe 区分开来。

和相关实体的关系

和 sglang 的关系

• sglang 更像推理与 rollout serving 实体。
• slime 则更像围绕 RL training loop 组织起来的上层系统。
• 两者在实际文章里是紧密协同关系：slime 提需求，SGLang 提运行时能力。

和知识页的关系

• 多轮 agent 训练见 multi-turn-rl。
• 服务侧 cache 和批处理机制见 kv-cache 与 sglang-scheduler。
• 线上策略刷新问题见 sglang-online-weight-updates。

适合把它看成什么

• 不要把 slime 只看成“某个 RL 算法实现”。
• 更准确的理解是：它是把算法、推理引擎、训练后端和低精度工程捆在一起的一套 RL 系统化实践。

相关页面

• 阅读导览见 zhaochenyang20-rl-systems-reading-guide。
• 相关实体：sglang。