Latent Bridge: канал связи между медленной и быстрой VLM для игровых агентов реального времени

Исследователи предложили архитектуру Latent Bridge для агентов реального времени. Она предназначена для систем, которым нужно одновременно быстро реагировать и при этом удерживать более длинный горизонт планирования. Как пишет arXiv cs.AI (Artificial Intelligence), особенно наглядно эта проблема проявляется в играх: агенту приходится принимать решения за десятки миллисекунд, но при этом учитывать последствия на горизонте секунд. Отсюда возникает жесткий компромисс между задержкой и качеством рассуждений.

В работе объединены две заранее обученные и замороженные визуально-языковые модели сопоставимого масштаба. Это рассуждающая Qwen3-VL-8B-Thinking и реактивная MiniCPM-o 4.5. Первая хорошо справляется с планированием, однако на ответ у нее уходит около ~1.5 s, что слишком медленно для цикла управления 15 Hz. Вторая реагирует за миллисекунды, но хуже решает задачи, где требуется продуманное планирование. Авторы связывают эти модели так, чтобы обучаемым оставался только канал коммуникации между ними.

Базовый вариант называется Text Bridge (T). В нем медленная модель записывает текстовый суффикс, который затем читает быстрая модель. Предложенный Latent Bridge (L) устроен иначе: информация передается через проекцию residuals медленной модели в пространство входных эмбеддингов быстрой модели, по схеме, напоминающей LLaVA. Текстовый обмен при этом не используется. Оба подхода сравниваются с режимом Fast-Only (F).

Эксперименты провели на 7 играх Atari и в домене вождения MetaDrive. Для каждого канала отдельно настраивался action decoder на held-out seeds. В этих тестах Latent Bridge в каждом домене как минимум соответствует результатам Text Bridge или показывает более высокие результаты.