Почему ИИ ошибается в 95% случаев при работе с памятью

Исследователь из Техасского университета Джеффри Флинт обнаружил критическую уязвимость в современных системах ИИ-памяти. В популярных решениях на базе векторного поиска точность извлечения конкретных фактов не превышает 5–8%. Вместо того чтобы находить точную информацию, нейросети перегружают контекст семантическим шумом, что делает их непригодными для управления инфраструктурой или автономной работы.

Проблема кроется в самой архитектуре векторного поиска, который ориентируется на смысловое сходство, а не на точность данных. Языковые модели часто маскируют провалы памяти собственными генеративными способностями, поэтому пользователи не замечают ошибок до тех пор, пока ИИ не начинает совершать критические действия, например, вызывать API или настраивать серверы. Для наглядности Флинт разработал бенчмарк PrecisionMemBench, показавший, что системы вроде Mem0 или Zep находят верную информацию лишь в одном из двадцати запросов.

В качестве альтернативы предложена архитектура Tenure, которая отказывается от векторных представлений в пользу структурированного хранения «убеждений». В этой системе каждый факт снабжен метаданными о статусе актуальности и области применения. Возврат к методам классического поиска по точному совпадению терминов позволил Tenure достичь идеальной точности в тестах, где традиционные модели выдавали массу нерелевантных данных. Кроме того, жесткая изоляция контекстов в новой архитектуре полностью исключила дрейф данных между разными проектами, что критически важно для автономных агентов. Если подход Флинта станет стандартом, разработчикам придется сменить вектор развития с имитации человеческих ассоциаций на строгий инженерный контроль точности.