Arenadata Orchestrator
Гибкие возможности планировщика в совокупности с его надежностью, отказоустойчивостью и возможностями масштабирования, делают платформу незаменимой при планировании и оркестрации процессов любой сложности.
Применение машинного обучения требует тщательной организации данных для управления всем жизненным циклом моделей – от их создания до внедрения и последующего контроля.
ADO – это мощная платформа для управления данными, построенная на основе Apache Airflow. Она предоставляет надежные инструменты для оптимизации процессов MLOps, упрощая разработку, развертывание и сопровождение моделей.
Конвейеры данных, написанные на Python, позволяют легко превращать пользовательские функции в задачи и взаимодействовать с любым API, что делает его отличным инструментом для управления вашей инфраструктурой. Например, кластерами Kubernetes.
ADO имеет встроенную интеграцию с множеством платформ и инструментов для работы с данными и аналитикой, а также поддерживает все популярные Python-библиотеки, которыми пользуются специалисты по данным, инженеры данных и другие профессионалы. Это предоставляет командам готовую структуру оркестрации, которую можно легко подключить к их предпочтительным инструментам. Таким образом, ADO упрощает совместную работу при проектировании, отладке и поддержке конвейеров данных, ускоряя процесс разработки и облегчая их развертывание и обслуживание.
Конвейеры данных Extract-Transform-Load (ETL) и Extract-Load-Transform (ELT) являются наиболее распространенным вариантом использования Apache Airflow благодаря следующим особенностям:
- Независимость от инструмента. Airflow можно использовать для организации конвейеров ETL/ELT для любого источника или места назначения данных.
- Расширения. Airflow поддерживает множество модулей, а также позволяет создавать собственные операторы и хуки для конкретных случаев использования.
- Динамика. Платформа позволяет динамически создавать новые конвейеры данных на основе входных параметров/метаданных.
- Масштабируемость. Airflow можно масштабировать для обработки бесконечного количества задач и рабочих процессов при наличии достаточной вычислительной мощности.
- Поддерживается ALT Linux 10.2 SP
- Поддерживается Astra Linux SE 1.8.6 Орел
- Поддерживается Astra Linux SE 1.8.6 Воронеж
- Поддерживается Ubuntu 22.04 LTS
- Поддерживается Ubuntu 24.04 LTS
- Поддерживается РЕД ОС 7.3 Сертифицированная редакция
- Поддерживается РЕД ОС 8.0 Сертифицированная редакция
- Поддерживается Ubuntu 22.04 LTS
- Поддерживается Ubuntu 24.04 LTS
Apache Airflow является основным движком оркестрации в ADO и используется для программного описания, планирования и мониторинга рабочих процессов обработки данных. Он позволяет создавать сложные пайплайны в виде кода (DAG) и обеспечивает управление зависимостями, повторными попытками, расписанием и наблюдаемостью. Airflow выступает центральной точкой управления выполнением всех пайплайнов в системе.
dbt (data build tool) – это инструмент для реализации ELT-процессов непосредственно в хранилище данных. Он позволяет описывать трансформации на SQL и управлять ими как кодом с использованием систем контроля версий. В ADO dbt интегрирован с Airflow, что позволяет оркестрировать трансформации вместе с другими этапами обработки данных.
DuckDB – это легковесная аналитическая СУБД, поставляемая в ADO в качестве встроенного сервиса. Она позволяет выполнять быстрые аналитические запросы, промежуточные преобразования и исследование данных непосредственно в рабочих процессах ADO. DuckDB можно использовать в Airflow-пайплайнах и расширять дополнительными возможностями для работы с внешними данными и системами хранения.
