Основой эксперимента стал мини-ПК M5 AI, работающий на базе процессора Ryzen AI Max+ 395. В топовой версии устройство оснащено 128 ГБ ОЗУ, чего недостаточно для полноценного запуска столь масштабных моделей в одиночку. Однако предложенный производителем метод масштабирования через USB4 Direct Connection позволяет узлам работать как единое целое, минуя ограничения традиционной серверной архитектуры. В подобной связке из семи устройств для нужд GPU выделяется до 672 ГБ памяти.
Главное преимущество такого подхода — гибкость. Пользователь может начать с одного устройства и постепенно докупать дополнительные модули, наращивая мощность по мере необходимости. Стоимость решения остается значительно ниже профессиональных серверных систем при умеренном энергопотреблении. На текущий момент цена одного мини-ПК M5 AI составляет 2800 долларов, что делает этот способ доступным инструментом для локального запуска крупномасштабных языковых моделей.
Комментарии (0)
Пока нет комментариев. Будьте первым!