NVIDIA описала три подхода к повышению точности Vision AI-агентов с помощью синтетических данных

NVIDIA представила набор рабочих процессов для создания Vision AI-агентов, которые анализируют видеоданные и применяются на фабриках, складах, в городских системах и транспорте. Как сообщает NVIDIA Blog, компания делает ставку на связку OpenUSD, NVIDIA Omniverse и NVIDIA Metropolis. Эти инструменты используются для генерации синтетических данных, дообучения моделей и развертывания приложений как на edge-устройствах, так и в облаке.

В NVIDIA считают, что распространение edge AI приводит к росту объема данных, создаваемых вне дата-центров и облачной инфраструктуры. По прогнозу Gartner, к 2028 году более двух третей данных под управлением предприятий будут создаваться и обрабатываться за пределами дата-центров или облака. Также ожидается, что к 2029 году edge AI будут использовать более двух третей компаний, тогда как в 2025 году этот показатель составляет 10%. При этом, по данным Gartner, до 90% существующих edge-данных остаются необработанными.

NVIDIA выделяет три типичные проблемы при разработке Vision AI-агентов. Первая связана с ограничением точности из-за нехватки данных для редких сценариев. Вторая касается недостатка экспертизы для fine-tuning моделей. Третья проблема, это сложная интеграция видеоаналитики с поиском, индексированием, уведомлениями и другими системами.

Для решения этих задач компания предлагает использовать OpenUSD в качестве общего слоя описания 3D-сцен, а также набор инструментов. В него входят Defect Image Generation для создания синтетических дефектов, Video Data Augmentation для расширения сценариев и NVIDIA TAO skills для fine-tuning моделей.