Хранение цифровой истории стало роскошью из-за бума ИИ

Бурное развитие нейросетей спровоцировало дефицит жестких дисков и NAND-памяти, поставив под угрозу работу крупнейших архивов интернета. Стоимость накопителей высокой емкости взлетела втрое, а массовая блокировка ботов, опасающихся кражи данных для обучения ИИ, превратила сохранение веб-контента в технический и финансовый вызов, с которым системы архивирования справляются все труднее.

Internet Archive, хранящий свыше 210 петабайт информации, ежедневно пополняется на 100 терабайт данных. Для поддержания этих темпов организации требуются диски объемом 28–30 ТБ, которые сейчас стали дефицитным товаром. Брюстер Кейл подтвердил, что поиск необходимого оборудования превратился в сложную задачу: либо нужных накопителей нет в наличии, либо их рыночная цена неоправданно завышена.

Аналогичные трудности испытывает Wikimedia Foundation. Рост цен на жесткие диски отразился на стоимости серверного парка и нарушил долгосрочные циклы закупок. Ситуацию осложняет параноидальная защита веб-ресурсов: владельцы сайтов массово закрывают доступ для любых автоматизированных систем, пытаясь предотвратить сбор контента для обучения нейросетей. В результате под горячую руку попадают и легитимные архиваторы, чья работа жизненно важна для сохранения цифрового наследия.