Prime Intellect выпустила фреймворк prime-rl 0.6.0 для обучения триллионных MoE‑моделей в задачах агентного RL

Компания Prime Intellect выпустила версию 0.6.0 фреймворка prime-rl. Это открытое решение для асинхронного reinforcement learning, рассчитанное на работу с Mixture-of-Experts моделями масштаба в триллионы параметров. Фреймворк нацелен на ресурсоёмкие агентные задачи с длинным горизонтом, в том числе задачи программной инженерии. Как сообщает MarkTechPost, в демонстрационном запуске модель GLM-5 обучалась на SWE‑задачах с длиной последовательности до 131k, временем шага менее пяти минут и batch size 256 rollouts при использовании 28 узлов H200.

Архитектура prime-rl разделяет систему обучения и систему инференса. За счёт этого их можно масштабировать и оптимизировать независимо друг от друга. Политика обновляется сразу после шага оптимизатора, при этом уже запущенные rollouts продолжают выполняться со своим prefix cache. Один rollout может включать токены, полученные из нескольких версий политики, тогда как новые rollouts создают собственный KV cache. Для этого используется механизм KV‑cache salt. Запросы от слишком старых версий политики система отбрасывает по порогу max_off_policy_steps.

Для ускорения инференса в фреймворке применён набор оптимизаций. Среди них FP8‑инференс с ядрами DeepEP и DeepGEMM, Wide Expert Parallelism с распределением экспертов по ≥32 GPU, а также раздельная обработка Prefill и Decode. Управление KV cache поддерживает иерархическое offloading на CPU и диск. В эту схему входят нативный механизм vLLM и система Mooncake Store. В качестве маршрутизатора используется форк vllm-router, также поддерживается NVIDIA Dynamo.

В обучении задействован трёхмерный параллелизм FSDP, EP и CP, а также block-scaled FP8. Среди моделей, к которым могут применяться такие оптимизации, названы zai-org/GLM-5.1, moonshotai/Kimi-K2.7-Code и nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16.