使用 LoRA、Storage Bucket 和代理在 Hugging Face Jobs 中运行 Async GRPO

TRL v1.14 的 AsyncGRPOTrainer 可通过 Storage Bucket 仅同步 LoRA 适配器，使训练器与多个 vLLM Job 在不同机器上运行。方案包含负责鉴权、KV 前缀路由和适配器广播的代理，代码固定使用 vLLM v0.27.1，并公开复现脚本。五次对照实验通过微批打包、关闭梯度检查点和提高并发限制，将 500 步耗时从 3 小时 27 分降至 53 分钟。