Энергоаппетиты ИИ-агентов в 136 раз превышают запросы чат-ботов

Команда под руководством профессора Минсу Рю из Корейского института науки и технологий проанализировала работу ИИ-агентов как отдельного типа нагрузки для серверов. В отличие от обычных моделей, эти системы многократно обращаются к внешним инструментам, запускают программный код и выполняют поиск в сети. Процесс решения задачи увеличивает время обработки запроса в 153,7 раза по сравнению с традиционными методами цепочки рассуждений.

Проблема скрыта в холостом ходе оборудования. Графические процессоры простаивают до 54,5% времени, ожидая отклика от внешних инструментов, однако продолжают потреблять электричество. Для модели с 70 млрд параметров средний расход на запрос достигает 348,41 ватт-час. Если перенести такую нагрузку на масштаб поисковых систем вроде Google, обрабатывающих 13,7 млрд запросов в день, инфраструктуре потребуется 198,9 ГВт — это почти половина всей мощности, потребляемой США.

Авторы работы, представленной на симпозиуме HPCA, подчеркивают, что гонка за «интеллектом» моделей упирается в физические ограничения. Для дальнейшего масштабирования компаниям вроде OpenAI, Google и Microsoft придется пересматривать архитектуру дата-центров и повышать эффективность полупроводников. Конкуренция в индустрии смещается от способности ИИ рассуждать к способности делать это без разорения энергетических систем.