Метод DyGEnc помогает языковым моделям анализировать события на видео

Исследователи МФТИ вместе с коллегами из Института AIRI и Университета Иннополис предложили метод DyGEnc. Он помогает большим языковым моделям отвечать на сложные вопросы о том, что происходит на видео. Основа подхода, отслеживание движения объектов и их взаимодействий. Работа опубликована в научном журнале Technologies.

Системы компьютерного зрения обычно уверенно распознают статичные объекты на изображениях. Но когда речь заходит о динамике, начинаются сложности. Например, нужно понять, кто именно взял предмет и за кем, в какой последовательности происходили действия, или попытаться предсказать следующий шаг. Если длинное видео описывать текстом, современные языковые модели тоже могут терять нить повествования: начало ролика забывается, а иногда появляются детали, которых в кадре не было.

Метод DyGEnc решает эту проблему иначе. Он сжимает происходящее в специальную структуру, так называемый граф событий. Каждый объект в нем представлен вершиной, а связи между объектами и предметами задаются ребрами, которые отражают действия. Такая схема помогает модели точнее отвечать на вопросы о происходящем в кадре. К примеру, она может определить, у какого объекта сядет человек после того, как закроет холодильник. Технологию прежде всего рассматривают для «умных» роботов, которым приходится работать в меняющейся среде, в том числе в логистике, на производстве и в бытовом сервисе.