slime 文档

slime 是一个面向 RL Scaling 的 LLM 后训练框架，提供两大核心能力：

• 高性能训练：通过连接 Megatron 与 SGLang，支持多种模式下的高效训练；

• 灵活的数据生成：通过自定义数据生成接口与基于服务器的引擎，实现任意训练数据生成流程。

slime 是 GLM-4.7、GLM-4.6、GLM-4.5 背后的 RL 训练框架。除此之外，slime 还支持:

• Qwen3 系列 (Qwen3Next, Qwen3MoE, Qwen3), Qwen2.5 系列；

• DeepSeek V3 系列 (DeepSeek V3, V3.1, DeepSeek R1)；

• Llama 3。

开始使用

• 快速使用
• 使用文档
• 自定义指南
• 常见 Q&A

Dense

• 8xH100 训练 Qwen3-4B
• 8xH100 训练 GLM4-9B

MoE

• 8xH100 训练 Qwen3-30B-A3B
• 64xH100 训练 GLM-4.5
• 128xH100 训练 DeepSeek R1

高级特性

• Reproducibility
• 投机采样
• 容灾
• 在 Megatron-LM 中快速支持新模型架构
• PD 分离

其他用法

• SFT Qwen3-4B-Base
• Search-R1 lite
• Fully Asynchronous Rollout Example
• Retool: from SFT to RL
• Multi-Agent RL
• On-Policy Distillation Example
• Preliminary Results
• FAQ
• References

开发指南

• Debug 指南

博客

• v0.1.0: 重新定义高性能 RL 训练框架
• slime：为 RL Scaling 设计的 SGLang-Native 后训练框架