Яндекс выложил в открытый доступ систему YTsaurus Flow

Система уже доказала эффективность в нагруженных проектах компании, включая рекламные сервисы, где она обрабатывает свыше 100 ГБ данных и миллионы событий каждую секунду. Внедрение технологии позволило кардинально изменить процесс дообучения рекламных моделей: время подготовки данных сократилось с десяти часов до практически нулевой задержки. YTsaurus Flow берет на себя задачи по анализу кликов, лайков и заказов, что помогает точнее настраивать рекомендации и рекламные офферы.

Функционал решения охватывает широкий спектр бизнес-задач, от работы антифрод-систем до прогнозирования спроса на Маркете. Инженеры Yandex Infrastructure предусмотрели отказоустойчивость: при возникновении сбоев нагрузка перераспределяется между серверами, а каждое событие проходит через систему строго один раз, что исключает дублирование или потерю данных. Теперь использовать эти возможности для собственных коммерческих проектов могут сторонние разработчики.