slime

A LITTLE SLIME. A LOT OF POSSIBILITY.

为规模化
RL 而生。

slime 是为 RL scaling 设计的 LLM 后训练框架，提供两大核心能力：

  1. 高性能训练 ↘
  2. 灵活的数据生成 ↘
了解一轮 RL ↗配置我的实验 ↓

直接在浏览器中探索。 准备运行？安装 slime →

01 / ↔

高性能训练

通过连接 Megatron 与 SGLang，支持各种模式的高效训练。

Megatron⇄SGLang
02 / ⌁

灵活的数据生成

通过自定义数据生成接口以及 server-based engines，实现任意训练数据生成流程。

你的数据与环境→Data Buffer

训练、rollout、自定义数据生成、奖励、验证器与环境交互，都流经同一条 training / rollout / Data Buffer 路径。

BUILT IN THE OPEN. USED AT SCALE.

从 GLM-4.5，一直到 GLM-5.3 与 GLM-5.3-Flash。

slime 持续支撑 Z.ai 历代 GLM 的 RL 后训练。了解模型的发布历程，再用同样的核心能力搭建你的实验。

Z.ai × slime
GLM-4.5→GLM-4.6→GLM-4.7→GLM-5→GLM-5.1→GLM-5.2→GLM-5.3→GLM-5.3-Flash

配套项目

straw

为 rollout 和训练数据提供持久队列与共享张量存储。

 sunabako

为 Agent 运行代码与测试提供 Linux 沙盒，支持多机部署。
准备好环境，再亲手搭起一个 RL 实验。 ↓

00 / SET UP ONCE

先装好环境，再开始探索。

用预置镜像起步，或构建 conda 环境。然后在下方选择模型、配置实验，带走启动脚本。

  1. 01准备运行环境
  2. 02搭建你的实验
  3. 03下载脚本，准备数据，启动
环境说明与其他平台 →

Docker · 预置完整环境

镜像已包含 Megatron、SGLang 和 slime 所需补丁。Linux x86_64 GPU 主机需准备 Git、Docker、NVIDIA 驱动，并配置好 NVIDIA Container Toolkit ↗.

Hopper / Blackwell · CUDA 13.0

1 / 在宿主机上
SLIME_IMAGE=slimerl/slime:latest-cu130
docker pull "$SLIME_IMAGE"
git clone https://github.com/THUDM/slime.git
cd slime
mkdir -p ../slime-data
docker run --rm -it --gpus all --ipc=host \
  --shm-size=16g --ulimit memlock=-1 --ulimit stack=67108864 \
  -v "$PWD:/root/slime" -v "$PWD/../slime-data:/data" \
  -w /root/slime "$SLIME_IMAGE" /bin/bash
2 / 进入容器后
pip install -e . --no-deps
python -c "import slime, sglang, megatron.core; import torch; print('GPUs:', torch.cuda.device_count())"

代码保留在宿主机。容器内 /data 下的模型、数据和 checkpoint 存在旁边的 slime-data 目录，退出容器后仍保留；下方配置器默认使用 /data。

Conda · 使用 micromamba 构建

仓库的 build_conda.sh 会创建 slime 环境，安装 Python 3.12、CUDA 13.0、Megatron、SGLang 及配套补丁。脚本会安装 micromamba，并编译原生依赖。

适用于 Linux x86_64 NVIDIA 环境，需要 Bash、Git、curl、patch、C/C++ 编译工具及兼容驱动。当前脚本需要 /root 写权限，并会安装与 Docker 镜像相同的 CUDA 兼容库。

1 / 克隆并构建
git clone https://github.com/THUDM/slime.git
cd slime
BASE_DIR=/root SHELL=/bin/bash bash build_conda.sh
2 / 在当前 Bash 中激活
source ~/.bashrc
micromamba activate slime
export CUDA_HOME="$CONDA_PREFIX"
python -c "import slime, sglang, megatron.core; import torch; print('GPUs:', torch.cuda.device_count())"

构建完成后，在每个新终端中激活环境。在配置器「文件」步骤填写可写的模型、数据及输出路径；Megatron 位于 /root/Megatron-LM。 查看构建脚本 ↗

环境就绪？搭建第一个实验 ↓

01 / THE EXPERIMENT BUILDER

来，搭一个你的实验。

选一个起点？
对照 A / B

将完整快照保存为 A，当前工作配置为 B。撤销 / 重做只改变 B；更新 A 是独立操作。下方始终导出 B。

03 / FOLLOW YOUR CURIOSITY

好奇，就再往前一步。

每个选择背后的论文、公式和工程细节。

01实验配置指南从 checkpoint 到第一个 reward ↗ 02拆开算法看一看GRPO · TIS · ICE-POP · R3 · SC ↗ 03看懂系统的取舍精度、异步、PD 与 HiCache ↗ 04完整文档资料库分类指南、接口与调试 ↗

04 / WHEN YOU WANT TO GO FURTHER

好的实验，也要会问问题。

展开一个问题，找到下一次测量和趁手的工具。

01 / DEBUGReward 不对，先从哪里查？＋

先检查生成文本、checkpoint 加载和 chat template。保存一轮 rollout，用固定 batch 重放训练，再比较 log-prob，最后才调整算法。

Debug 与重放 →理解训推差异 →
02 / PROFILE训练太慢，时间究竟花在哪里？＋

区分 rollout、reward、权重传输和训练耗时。先用 trace 找关键路径，再 profile 瓶颈引擎。使用 tools/profile_rollout.py 收集 SGLang trace，观察 prefill / decode。

性能剖析 →时间线与追踪 →指标与观测 →
03 / SCALE如何从一台机器走向多个集群？＋

先划分 GPU 的归属，再根据网络选择权重传输。Prefill / decode 资源需求不同时考虑 PD；需要恢复长任务时接入持久 rollout 存储。

External engines →Delta sync →Partial / distributed async →straw →故障恢复 →
04 / EXTEND我的 Agent，需要自己的环境。＋

从自定义逐样本生成函数和奖励开始。需要改变数据调度或跨 step 状态时，再替换完整 rollout 编排。

Agent RL →扩展接口 →SGLang topology →

LEARN WITHOUT LOSING YOUR PLACE