PD 分离

PD 分离#

slime 支持 Prefill 和 Decode 的分离部署 (PD Disaggregation)。

可以通过设置 --prefill-num-servers 参数来指定用于 Prefill 的服务器数量。

我们推荐在多轮或 agentic RL 训练中开启 PD 分离。