Система VKAE ускорила работу ИИ в 23 раза на старом железе

Тестирование проводилось на ускорителе Nvidia B200. В ходе испытаний модель Qwen3.5-35B-A3B при высокой нагрузке достигла показателя в 10 тысяч токенов в секунду, хотя при работе с более разнообразными запросами реальная скорость составила 455 токенов в секунду. Авторы системы подчеркивают, что столь значительный прирост производительности достигается без потери качества или точности ответов, что было подтверждено внутренними бенчмарками компании.

Эффективность VKAE напрямую зависит от внутренней архитектуры конкретной модели, поэтому универсального ускорения для всех нейросетей ожидать не стоит. Тем не менее, проект делает ставку на прозрачность: разработчики предоставляют контейнер с весами модели и оптимизированной средой выполнения. Это позволяет инженерам самостоятельно воспроизвести результаты на собственном оборудовании, что становится новым стандартом доверия в индустрии, где результаты тестов часто зависят от условий запуска.

Технические детали алгоритма пока остаются закрытыми, однако Vidraft готовит полноценный препринт с описанием процесса. На текущем этапе решение совместимо с OpenAI API, что упрощает внедрение технологии в существующие инфраструктурные проекты без переписывания кода. VKAE вписывается в глобальный тренд по оптимизации инференса, конкурируя с инструментами вроде vLLM и TensorRT-LLM в попытке снизить стоимость эксплуатации больших языковых моделей.