Илон Маск запустил обучение семи нейросетей на гигаваттном Colossus 2

По словам Илона Маска, вычислительные мощности xAI сейчас задействованы в параллельном тренинге целой линейки нейросетей разной сложности. Флагманом проекта стала модель объемом 10 трлн параметров — на её предварительное обучение, по оценкам Маска, потребуется около двух месяцев.

Рекордная мощность и состав моделей

Технологический стек кластера Colossus 2 позволяет одновременно работать над проектами разного масштаба. В текущем цикле обучения задействованы:

• генеративная модель Imagine V2 для работы с изображениями и видео;
• две версии нейросетей по 1 трлн параметров и две — по 1,5 трлн;
• тяжеловесные решения на 6 трлн и 10 трлн параметров.

Запуск системы такого масштаба подтверждает стратегию Маска по созданию наиболее мощного ИИ-инструментария в мире. Огромное энергопотребление в 1 ГВт обусловлено необходимостью поддерживать беспрецедентную скорость вычислений, требуемую для обучения Grok и других перспективных моделей компании.