Исследование KAIST: AI-агенты могут потреблять в 136,5 раза больше энергии, чем обычные чат-боты

Исследователи из Korea Advanced Institute of Science and Technology (KAIST) опубликовали анализ энергопотребления AI-агентов, систем, способных самостоятельно планировать действия, вызывать внешние инструменты, писать код и выполнять многоэтапные задачи. По данным работы, такие системы могут тратить на один запрос до 136,5 раза больше энергии по сравнению с обычными генеративными моделями.

AI-агенты работают иначе, чем стандартные чат-боты: они многократно обращаются к LLM, используют веб-поиск, калькуляторы и стороннее ПО по ходу выполнения задачи. Как сообщает Digital Trends, исследователи рассматривали AI-агентов как отдельный тип нагрузки для дата-центров и тестировали их в сценариях, приближенных к реальным. Авторы также зафиксировали рост задержки ответа до 153,7 раза по сравнению с conventional chain-of-thought reasoning.

Согласно исследованию под руководством профессора Минсу Рю из School of Electrical Engineering KAIST, GPU в таких сценариях простаивали до 54,5% времени, пока система ждала завершения операций внешних инструментов, но при этом продолжали потреблять электроэнергию. Для AI-агента на базе языковой модели с 70 млрд параметров среднее энергопотребление составило 348,41 ватт-часа на запрос.

Команда отдельно смоделировала сценарий, при котором AI-агенты обрабатывают 13,7 млрд запросов в день, то есть на уровне ежедневного поискового трафика Google. В этом случае инфраструктуре потребовалось бы около 198,9 гигаватта электроэнергии. Авторы исследования считают, что дальнейшее развитие AI будет зависеть не только от качества моделей. Значение будут иметь эффективность чипов, загрузка GPU, архитектура дата-центров и состояние энергетической инфраструктуры.