ИИ провалил тест на человеческую интуицию

Тестирование охватило 25 популярных мультимодальных систем, которым предложили 522 задания. Задачи требовали оценить социальную иерархию в комнате, предсказать траекторию движения авто или распознать скрытые мотивы персонажей. Если контрольная группа людей справилась с тестом на 93,1%, то лучший результат нейросетей составил лишь 53,6%. Медианный показатель по всей выборке оказался на уровне 30,9%, что ставит под сомнение способность алгоритмов понимать реальный мир за пределами пикселей.

Анализ 8 500 ошибок показал, что причина провала кроется не в логических рассуждениях, а в фундаментальной слепоте нейросетей. Модели попросту не фиксируют критически важные визуальные маркеры, теряя контекст сцены. На долю логических сбоев пришлось лишь 5% провалов. Увеличение вычислительных мощностей или попытки сфокусировать внимание системы на отдельных частях кадра не принесли значимого прогресса. Авторы исследования пришли к выводу, что простое наращивание мощностей не решит архитектурную проблему: нынешние модели видят картинку, но не осознают происходящее в ней.