При работе систем Retrieval-Augmented Generation (RAG) основная вычислительная нагрузка ложится на центральный процессор, а не на графический ускоритель. Именно CPU отвечает за первичный поиск данных, на основе которых нейросеть строит ответ. Тесты Batch Search 100K выявили колоссальный разрыв: восьмиядерные модели с увеличенным кэшем почти вдвое обошли классические версии Ryzen.
Преимущество сохраняется и при масштабировании задач. В сценарии на 200 тысяч записей Ryzen 7 9850X3D оказался на 50% производительнее модели 9700X. Наличие объемного кэша позволило восьмиядерному чипу превзойти в скорости поиска даже 16-ядерный флагман Ryzen 9 9950X. Скорость построения индексов также выросла: время выполнения операций сократилось на 39–50%. Единственным показателем, где кэш не обеспечил рывка, стало время выдачи первого токена, которое по-прежнему сильнее зависит от мощности видеокарты.
Комментарии (0)
Пока нет комментариев. Будьте первым!