OpenAI сократила затраты на инференс ChatGPT за счёт программной оптимизации

OpenAI удалось более чем вдвое сократить затраты на выполнение запросов к ИИ без установки нового оборудования. Как пишет iXBT со ссылкой на The Information, после внедрения системы оптимизации для части пользователей ChatGPT число необходимых графических процессоров Nvidia в отдельные периоды снизилось до нескольких сотен.

Речь идёт об оптимизации инференса, то есть обработки запросов уже обученной моделью. По информации The Information, решение использовали для пользователей ChatGPT без регистрации или подписки. Источники утверждают, что рост эффективности обеспечили за счёт более рационального использования существующей серверной инфраструктуры. Подробности технологии OpenAI не раскрывала.

The Information также отмечает, что инференс остаётся крупнейшей статьёй расходов для компаний, работающих с генеративным ИИ. Пока неясно, распространяется ли новая технология на платных и корпоративных клиентов OpenAI, а также на наиболее сложные рассуждающие модели компании.