ИИ провалил тест на научное предсказание

Исследователи проанализировали 4 760 научных событий, которые произошли уже после завершения обучения протестированных систем. ИИ оценивали по четырем параметрам: от выбора стратегии решения до прогнозирования конкретных дат. Разрыв между теорией и практикой оказался критическим. Если в выборе правдоподобного механизма GPT-5.4 достигал точности 79,2%, то при оценке реальной осуществимости открытия показатель падал до 49,1%, что сопоставимо с подбрасыванием монеты.

Системы также систематически ошибались в таймингах, опаздывая с прогнозами на срок от 5 до 15 месяцев. Даже предоставление доступа к актуальному веб-поиску не устранило фундаментальную проблему: ИИ умеет жонглировать фактами, но не понимает логику научного прогресса. В сравнительных тестах живые эксперты оказались эффективнее нейросетей, достигая 73% точности в оценке перспективности исследований. Авторы работы предупреждают, что слепое доверие алгоритмам при распределении грантов или планировании лабораторий может привести к серьезным ошибкам в научной стратегии.