Исследование: ИИ-агенты могут потреблять в десятки раз больше энергии, чем обычные чат-боты

Исследователи оценили, сколько вычислительных ресурсов требуют ИИ-агенты, способные не только генерировать ответы, но и самостоятельно планировать действия, вызывать внешние инструменты и поэтапно выполнять задачу. По их расчётам, один запрос к такой системе может потребовать до 136,5 раза больше энергии по сравнению с обычной генерацией ответа. Работу представили в феврале на 32-м симпозиуме IEEE International Symposium on High Performance Computer Architecture.

Как сообщает SecurityLab (by Positive Technologies), основной рост энергопотребления связан с повторными обращениями к языковой модели. Агентские системы многократно вызывают модель, чтобы выбрать следующий шаг, обработать результаты инструментов и проверить состояние задачи. Это сказывается не только на расходе энергии, но и на скорости работы. В исследовании время выполнения задач увеличивалось до 153,7 раза.

Авторы также обратили внимание на неэффективное использование GPU. До 54,5% времени ускорители простаивали, пока внешние инструменты выполняли свои операции. В одном из сценариев агент на базе модели с 70 млрд параметров в среднем расходовал 348,41 ватт-часа на запрос.

Команда отдельно смоделировала последствия массового использования таких систем. Если объём достигнет 13,7 млрд агентских запросов в сутки, дата-центрам потребуется около 198,9 ГВт мощности. По словам профессора Минсу Ру, дальнейшее развитие ИИ-агентов потребует совместной оптимизации моделей, ИИ-чипов, дата-центров и энергетической инфраструктуры.