Исследователи вывели на шоссе в часы пик 100 автомобилей с управлением на основе reinforcement learning (RL). Их задача, сгладить дорожные заторы и снизить расход топлива для всех участников движения. Работа нацелена на борьбу с так называемыми «stop-and-go» волнами: это чередование замедлений и ускорений без явной причины, из‑за которого возникают пробки и теряется много энергии.
Чтобы обучить контроллеры, способные выравнивать поток машин, команда построила быстрые симуляции на основе реальных данных. В этих моделях RL‑агенты взаимодействуют с дорожной средой и постепенно учатся повышать энергоэффективность. При этом они должны сохранять пропускную способность дороги и безопасно двигаться рядом с водителями‑людьми.
Авторы отмечают, что даже небольшая доля хорошо управляемых autonomous vehicles (AVs) может заметно улучшить общий поток и топливную эффективность на дороге. Обученные контроллеры рассчитаны на большинство современных автомобилей, работают децентрализованно и используют стандартные radar sensors. В последней работе исследователи разбирают и практические сложности масштабного внедрения RL‑контроллеров, от симуляции до реального применения, опираясь на эксперимент со 100 автомобилями.
Ключевые факты
В эксперименте на шоссе в час пик было задействовано 100 автомобилей с управлением на основе reinforcement learning для сглаживания дорожных заторов и снижения расхода топлива.
Целью системы является уменьшение «stop-and-go» волн, циклов замедления и ускорения без явной причины, которые приводят к пробкам и энергетическим потерям.
RL‑агенты обучались в быстрых симуляциях на основе данных, оптимизируя энергоэффективность при сохранении пропускной способности и безопасном взаимодействии с водителями‑людьми.
Разработанные контроллеры рассчитаны на установку на большинстве современных автомобилей, работают децентрализованно и используют стандартные радарные сенсоры.