Decart представил world model Oasis 3 для генерации фотореалистичных дорожных сцен

Стартап Decart открыл доступ к модели мира Oasis 3. Она умеет в реальном времени генерировать фотореалистичные виртуальные дорожные сцены, по которым можно «ездить» автомобилем. Сервис с первого дня работает через API, поэтому сторонние разработчики могут строить на его основе собственные приложения. Основная ставка делается на рынок беспилотного транспорта: для обучения и проверки систем автономного вождения нужны миллионы дорожных сценариев, в том числе редкие и потенциально опасные.

Сооснователь и генеральный директор компании Дин Лайтерсдорф (Dean Leitersdorf) говорит, что Oasis 3 задумывалась как первая модель, на базе которой можно полноценно создавать собственные продукты. Генерация стоит 2 цента за секунду, для корпоративных клиентов тарифы рассчитывают отдельно. У Decart уже сформировалось сообщество более чем из 100 тысяч разработчиков. Многие из них используют предыдущую модель Lucy, например в электронной коммерции и для прямых трансляций.

В основе технологии лежит платформа DOS (Decart Optimization Stack). Она оптимизирует работу моделей на оборудовании Nvidia, Amazon и Google. Система сразу генерирует физически правдоподобную сцену с трёх камер: фронтальной и двух боковых, это важно для обучения автономных транспортных систем. В Decart подчёркивают сочетание фотореализма и почти бесконечной генерации окружения, благодаря чему можно получать огромное количество дорожных ситуаций.

Во время тестирования обнаружились ограничения. Со временем сцены могут терять логическую связность: например, виртуальная улица Нью-Йорка постепенно превращалась в абстрактный городской ландшафт, а ранее пройденные перекрёстки иногда исчезали, если к ним возвращались. Бывают и физические несоответствия: автомобиль порой проезжает сквозь другие машины, потому что модель пока не удерживает согласованность объектов на длинных отрезках. Oasis 3 относится к авторегрессионным моделям, каждый кадр содержит около 8 тысяч токенов, а при генерации десятков кадров в секунду контекст быстро заканчивается.