RadixArk представила open source-фреймворк Miles для RL-постобучения LLM

RadixArk открыла исходный код Miles, фреймворка для RL-постобучения больших языковых моделей. Система объединяет SGLang для rollout, NVIDIA Megatron-LM для обучения, Ray для оркестрации распределённых задач и PyTorch как общий программный и вычислительный слой. Проект рассчитан на масштабные распределённые нагрузки. В него встроены механизмы синхронизации весов через NVIDIA NCCL/RDMA, а также инструменты наблюдаемости и отказоустойчивости.

Как сообщает PyTorch Blog, Miles создавался для сценариев, в которых RL-постобучение LLM превращается в задачу распределённых систем. Модели переходят от dense-архитектур к mixture-of-experts, а вычисления выполняются на специализированном оборудовании, включая NVIDIA Blackwell и Hopper. В описании проекта говорится, что rollout и обучение отличаются по профилю нагрузки: генерация ограничена пропускной способностью памяти, тогда как обучение требует интенсивных вычислений и постоянного обмена данными.

Архитектура Miles построена вокруг компактного обучающего ядра с подключаемыми Python-модулями. Пользователи могут отдельно менять логику rollout, вычисление наград, функции потерь, фильтрацию сэмплов, метрики и хуки цикла обучения, не форкая сам фреймворк. Для распределённого выполнения Miles использует модель Ray actors. Через неё управляются trainer-процессы, rollout-серверы SGLang, routing-прокси и асинхронные rollout workers.