Релизы ADH Cloud

Сергей Тихомиров

Свернуть контент Развернуть контент

Содержание

1.4.0
1.3.1

1.4.0

1.4.0-0

Дата: 16.09.2026

Новые сервисы
Новые функции
Улучшения
Обновления
Исправленные баги
Исправленные уязвимости (CVE)

Добавлен YuniKorn в качестве планировщика ресурсов для Spark в Kubernetes. Он позволяет управлять очередями задач, справедливо распределять ресурсы между пользователями и командами, а также избегать конфликтов при одновременном выполнении ресурсоемких приложений Spark. Для сервиса реализованы следующие улучшения:

NGSOK-1656: Добавлены механизмы аутентификации Kerberos, SPNEGO и LDAP для YuniKorn Web.
NGSOK-2082: Добавлен механизм аутентификации для YuniKorn k8shim.

Добавлен Celeborn в качестве удаленного shuffle-сервиса для Spark в Kubernetes. Он переносит операции shuffle с локальных дисков узлов на выделенный кластер, позволяя использовать Spark в тех кластерах Kubernetes, где на рабочих узлах отсутствуют локальные диски для записи данных shuffle. Для сервиса реализованы следующие улучшения:

NGSOK-2035: Добавлена поддержка хранилищ HDFS и S3 для Celeborn.
NGSOK-1747: Добавлена поддержка Helm для Celeborn.
NGSOK-1758: Добавлена поддержка настройки меток (label) в Celeborn.

Добавлен сервис Spark History Server для хранения и просмотра истории выполнения приложений Spark. Это позволяет анализировать логи, метрики и статусы задач даже после завершения работы самого приложения, не требуя доступа к контейнерам или логам отдельных подов. Для сервиса реализованы следующие улучшения:

NGSOK-1852-1, NGSOK-1852-2: Добавлена возможность сбора метрик VictoriaMetrics/Prometheus при включенном SPNEGO для Spark History Server.
NGSOK-1875-1, NGSOK-1875-2: Добавлена возможность получения групп из LDAP для настройки ACL в Spark History Server.
NGSOK-1826: Добавлена поддержка экспорта метрик в формате Prometheus для Spark History Server.

Разработан оператор Spark для Kubernetes, покрывающий полный жизненный цикл приложения: развертывание, масштабирование, мониторинг состояния и автоматическую очистку ресурсов после завершения задач

Добавлена возможность управлять пулами ресурсов Impala с помощью Arenadata Cloud CLI

Добавлена возможность настраивать LDAP-аутентификацию для Impala с помощью Arenadata Cloud CLI

Добавлена возможность настраивать LDAP-аутентификацию для Trino с помощью Arenadata Cloud CLI

Добавлена поддержка аутентификации Kerberos и LDAP для YuniKorn Web

Реализована настройка Kerberos-аутентификации и SSL-шифрования для Spark History Server

Добавлена возможность авторизации пользователей Spark через Apache Ranger

Добавлена возможность настраивать SSL-шифрование и Kerberos-аутентификацию для оператора Spark с помощью Arenadata Cloud CLI

Добавлена возможность настраивать SSL-шифрование и Kerberos-аутентификацию для Spark History Server с помощью Arenadata Cloud CLI

Добавлена команда Arenadata Cloud CLI adc list, обеспечивающая быстрый доступ к текущему состоянию инфраструктуры без переключения между kubectl и другими инструментами

Добавлены команды Arenadata Cloud CLI adc export dashboards и adc export hadoop-config, позволяющие экспортировать настройки созданных объектов

Добавлен флаг --kustomize для команды Arenadata Cloud CLI adc init, позволяющий быстро разворачивать кластеры и сервисы с помощью подготовленных шаблонов

Реализован механизм использования предварительно созданных секретов Kubernetes с централизованным хранением для Trino, Impala, Spark, YuniKorn и Celeborn

Внедрена единая система экспорта метрик в формате Prometheus для Trino, Impala, Spark, Spark History Server, YuniKorn и Celeborn

Реализован механизм настройки контекстов безопасности для Trino, Impala, Spark History Server, YuniKorn и Celeborn

Реализована интеграция с VictoriaMetrics/Prometheus для сбора метрик состояния оператора Kerberos. Данная функция позволяет отслеживать работоспособность и производительность инфраструктуры Kerberos на единой информационной панели наряду с другими компонентами платформы

Добавлена поддержка PodMonitor, ServiceMonitor, VMPodScrape и VMServiceScrape для сбора метрик компонентов. Администратор может выбрать наиболее подходящий способ подключения в зависимости от используемой системы мониторинга (Prometheus или VictoriaMetrics) без необходимости внесения изменений в код

Проведен рефакторинг команд Arenadata Cloud CLI, в результате которого были удалены дублирующие и редко используемые команды

Реализована гибкая политика настройки приложений с возможностью внесения изменений через Arenadata Cloud CLI для Trino, Impala, Spark History Server, YuniKorn и Celeborn

Spark3 обновлен до версии 3.5.4.4 со следующими обновлениями:

Обновления Spark3

NGSOK-1387: Добавлена поддержка поля binaryData в объектах ConfigMap для передачи файлов JCEKS.
NGSOK-1479-1, NGSOK-1479-2: Добавлена возможность настройки периода хранения логов для приложений Spark, использующих удаленное хранилище, что позволяет отображать статус приложений с меньшей задержкой (ближе к режиму реального времени).

NGSOK-1130:Executor Spark зависал при интеграции с Ranger

NGSOK-1481: Spark History Server позволял скачивать объекты без наличия необходимых прав доступа

NGSOK-1876-1, NGSOK-1876-2: Spark History Server не получал сигнал SIGTERM

NGSOK-1831-1, NGSOK-1831-2, NGSOK-1831-3: Конфигурация Hadoop считывалась некорректно при интеграции Spark с Ranger

NGSOK-1401: Пользовательские настройки сохранялись в файл конфигурации Spark

1.3.1

1.3.1-1

Дата: 17.07.2026

Обновления
Исправленные баги
Исправленные уязвимости (CVE)

Impala обновлен до 4.5.0.2

Trino обновлен до 481.1

Spark3 обновлен до 3.5.4.4

Spark4 обновлен до 4.2.0.1

Keytab-файлы и кеши секретов не были ограничены выбранными пространствами имен

Поды Trino удалялись продолжительное время

Аутентификация на эндпойнте метрик и наличие соответствующего RBAC на уровне кластера были обязательными

Оператор Kerberos некорректно генерировал ldapSecret

Не было поддержки переменных среды в контейнере оператора Trino и CLI

Различные CVE

CVE-2026-27145. Данная проблема все еще открыта в образе Trino

CVE-2026-39822. Данная проблема все еще открыта в образе Trino

CVE-2026-42504. Данная проблема все еще открыта в образе Trino

1.3.1-0

Дата: 28.05.2026

Новые сервисы
Новые функции

Разработан оператор Impala Kubernetes

Разработан оператор Trino Kubernetes

Разработана утилита adc для управления сервисами в Kubernetes

Реализована поддержка работы Spark из ADH в Kubernetes с возможностью интеграции с Kerberos, SSL и Ranger

Реализована возможность установки/удаления Impala в Kubernetes через Helm с поддержкой:

интеграции с Ranger;
интеграции с Kerberos;
интеграции с SSL;
изменения минимально гарантированных (resources.requests) и максимально доступных (resources.limits) ресурсов пода.

Реализована возможность установки/удаления Trino в Kubernetes через Helm с поддержкой:

интеграции с Ranger;
интеграции с Kerberos;
интеграции с SSL;
изменения минимально гарантированных (resources.requests) и максимально доступных (resources.limits) ресурсов пода.

Реализована возможность установки/удаления Impala в Kubernetes через CLI с поддержкой:

интеграции с Ranger;
интеграции с Kerberos;
интеграции с SSL;
изменения минимально гарантированных (resources.requests) и максимально доступных (resources.limits) ресурсов пода.

Реализована возможность установки/удаления Trino в Kubernetes через CLI с поддержкой:

интеграции с Ranger;
интеграции с Kerberos;
интеграции с SSL;
изменения минимально гарантированных (resources.requests) и максимально доступных (resources.limits) ресурсов пода.

Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней