ByteDance описала закономерность обучения ИИ-агентов в реальных задачах
Исследователи ByteDance сообщили, что обнаружили закономерность, связанную с развитием ИИ-агентов при решении задач из реального мира. По данным команды Seed AI, такие системы способны удваивать скорость обучения каждые три месяца, если долго взаимодействуют с реальной средой.
Как сообщает Overclockers.ru со ссылкой на South China Morning Post, работа появилась на фоне поиска новых подходов к масштабированию ИИ. В материале говорится, что прежняя ставка на увеличение объёма данных и вычислительных ресурсов постепенно упирается в ограничения. Соучредитель OpenAI Андрей Карпатый ранее также предупреждал: подход, основанный на «грубой силе», не сможет работать бесконечно.
Авторы исследования отдельно отмечают, что механизмы обучения автономных систем после развёртывания в реальных условиях пока изучены слабо. Чтобы исследовать эту область, команда ByteDance создала набор тестов EdgeBench. В него вошли 134 задачи с «ультрадлинным» горизонтом планирования. Они связаны с разработкой ПО, научными исследованиями, формальной математикой и профессиональной интеллектуальной деятельностью. Для выполнения каждой такой задачи ИИ-агент должен непрерывно работать не менее двенадцати часов.
Ключевые факты
Команда Seed AI утверждает, что ИИ-агенты могут удваивать скорость обучения каждые три месяца при длительном взаимодействии с реальной средой
Исследовательский институт Epoch AI предупредил, что запасы общедоступных текстовых данных, созданных людьми, могут исчерпаться в течение ближайших шести лет
Набор тестов EdgeBench включает 134 задачи с «ультрадлинным» горизонтом планирования
Для выполнения каждой задачи в EdgeBench ИИ-агент должен непрерывно работать не менее двенадцати часов