Яндекс открыл исходный код платформы для работы с большими данными

Яндекс опубликовал исходный код YTsaurus. Это платформа для хранения и обработки больших данных, с которой работает большинство сервисов Яндекса.

Платформа подходит для широкого круга задач, от аналитики до обучения сложных моделей с миллиардами параметров. Например, Search создает поисковый индекс с YTsaurus, а беспилотные автомобили используют платформу для обработки данных о поездках и улучшения своих алгоритмов. YTsaurus управляет суперкомпьютерами Яндекса, распределяя нагрузку таким образом, чтобы их вычислительные мощности использовались максимально эффективно.

Максим БабенкоНачальник отдела технологий распределенных вычислений:

Яндекс разрабатывает YTsaurus — или YT, как мы его называем внутри компании — с 2010 года. Мы начали создавать собственную экосистему больших данных, потому что ни одно из представленных на рынке решений не отвечало всем нашим требованиям. Сейчас YTsaurus — один из ключевых элементов внутренней инфраструктуры Яндекса. На платформе работают десятки разработчиков, и ее возможности постоянно расширяются..

YTsaurus — отказоустойчивая и хорошо масштабируемая платформа. В Яндексе он развернут на десятках тысяч серверов и обрабатывает эксабайты данных; с ней работает каждый второй сотрудник компании. YTsaurus можно использовать как классическую систему MapReduce, но он также поддерживает другие популярные подходы к обработке данных. Например, у него есть интеграции с ClickHouse и Apache Spark. Подробнее о возможностях YTsaurus рассказано в блоге Яндекса на Хабре.

Алексей БашкеевРуководитель Яндекс Облака:

YTsaurus наиболее полезен для крупных компаний, которые обрабатывают огромные объемы данных на тысячах серверов при постоянно растущей нагрузке.

Исходный код и документация YTsaurus доступны на GitHub. Код распространяется под лицензией Apache 2.0. Любой желающий может использовать платформу или модифицировать ее под себя.

Источник: пресс-служба Яндекса.