Релизы ADH

Устранена необходимость устанавливать Axiom JDK при использовании Astra Linux

Добавлена возможность устанавливать пользовательское значение переменной JAVA_HOME

При конфигурации Shiro Simple Authentication явно отображались пароли

Конфликт пакетов при обновлении ADH и установке сервиса SSM

Добавлен новый сервис SSM

Добавлен новый сервис Kyuubi

Добавлены JDBC-проверки

Сервисное действие Manage Ranger plugin теперь более кастомизируемое и понятное

ADQM Spark connector теперь включен в бандл ADH

Добавлен компонент Spark Connect для сервиса Spark3

Изменены права на директории и файлы в бандле для поддержки установки продукта на файловую систему со значением umask равным 027

Возможность управления системными переменными в Hive

Возможность управления системными переменными в HBase

Обновлена версия Spark до 3.4.2_arenadata1

Обновлена версия Hive до 3.1.3_arenadata6

Обновлена версия ADB Spark connector до 1.0.5-spark-3.4.x

Неверно генерировался файл hdfs-site.xml во время действия Manage Ranger plugin в YARN

Spark3 не подхватывал настройки SSL после действий Remove/Install

Различные ошибки ADB PySpark connector

LDAP не работал в Airflow2

Ошибка удаления Spark2 в ADH 3.2.4

Ошибка балансировщика HDFS на Astra Linux

Неправильные пути логов Impala в ADH v3.1.2_arenadata1_b1-2

HiveServer2 не запускался после обновления ADH до версии 3.2.4 из-за SAN-секции в сертификатах

Сервис SSM находится на стадии технологического превью и не предназначен для промышленного использования. Он все еще находится в разработке и представлен пользователям для ознакомления

Путь к интерпретатору Python для сервисов Spark 2/3 изменен с /opt/python3.10/bin/python3 на /opt/pyspark3-python/bin/python3. Следует принять это во внимание при установке параметра PYSPARK_PYTHON

Для установки Impala на Red Hat необходимо вручную установить пакет cyrus-sasl-sql. Необходимость в этом будет исключена в следующей версии

Теперь минимально поддерживаемая версия ADCM — 2.0

Устранена необходимость устанавливать Axiom JDK при использовании Astra Linux

Ошибочная конфигурация Spark 2/3 при керберизации

Flink обновлен до версии 1.17.1_arenadata1 с патчем FLINK-32976

Tez обновлен до версии 0.10.1_arenadata1

ADB Spark Connector обновлен до версии 1.0.5-spark-3.3.x с улучшением производительности и безопасности, а также исправлением ошибок

Добавлен пакет jdbc-tools версии 1.0

Spark2 обновлен до версии 2.3.2_arenadata2 с патчем SPARK-31644

Добавлена поддержка zstd в HDFS

Добавлена поддержка PMDK в HDFS

Spark3 обновлен до версии 3.3.2_arenadata1 с патчем SPARK-39910 (внутренняя разработка)

Обновлен Spark3 Livy до версии 0.7.2_arenadata5

Обновлен Sqoop до версии 1.4.7_arenadata2

Обновлен Phoenix Query Server до версии 6.0.0_arenadata2

Обновлен Phoenix до версии 5.1.3_arenadata2

Обновлен HBase operator tools до версии 1.2.0_arenadata2

Обновлен HBase до версии 2.4.17_arenadata1

Обновлен Airflow до версии 2.6.3

Исключены уязвимости в библиотеке log4j вплоть до версии 2.15

В ADCM добавлены настройки логирования для Solr

В ADCM добавлены настройки логирования для ZooKeeper

Airflow1 удален из бандла

Добавлен компонент Thrift Server для Spark3

Добавлен шаблон изменения Ulimits на странице конфигурации компонентов в ADCM

Добавлена поддержка AstraLinux 1.7 SE "Орел"

Изменены настройки подключения Hive к базе данных Metastore для повышения гибкости

Обновлен драйвер Postgres JDBC, поставляемый в дистрибутиве

Существующие keytab-файлы больше не пересоздаются полностью при установке/расширении сервисов

Ошибка при добавлении ролей в shiro.ini при настройке Zeppelin

Spark3 Server не запускался после обновления

Из-за прекращения поддержки Airflow 1 данный сервис требуется удалить из кластера при обновлении. Вместо него можно установить Airflow 2

Минимальная версия ADPS — 1.1.0

Проблема реконфигурации при долгом нахождении HDFS в режиме SafeMode

Ошибка обновления URL-адреса репозитория в некоторых случаях при offline-обновлении

При обновлении HBase учтены изменения upstream, связанные с Phoenix Query Server

Ошибки обновления кластера в Community Edition

Flink обновлен до версии 1.16.2

Solr обновлен до версии 8.11.2 с исправленными уязвимостями библиотеки log4j

Sqoop обновлен до версии 1.4.7 с исправленными уязвимостями библиотеки log4j

HBase обновлен до версии 2.2.7

Phoenix обновлен до версии 5.13

Добавлена поддержка Impala

ADB Spark3 Connector теперь включен в бандл ADH

Реализован HBase-компонент hbck2

Представлен Maintanence mode, позволяющий удалить любую ноду из кластера

Представлено автоматическое управление High Availability для сервисов ADH

Добавлен компонент SQL Gateway для Flink

Добавлен PySpark 3 для пользовательской установки

Добавлена поддержка авторизации через Knox SSO для Zeppelin

Изменено управление Kerberos (отключение, включение, конфигурация)

В ADCM добавлены настройки логирования для Spark

В конфигурацию кластера добавлен новый параметр Precheck packages, который включает/отключает проверку пакетов. По умолчанию проверка пакетов отключена

В ADCM добавлены настройки логирования для Sqoop

Сервисы Airflow 2 не запускались после керберизации и перезапуска

Проблемы со статистикой и метаданными в Hive

Конфигурация Hive не происходила без установленного ZooKeeper в Community Edition

Проблема с config groups в Hive

Не происходила проверка наличия Spark 3, если не установлен Spark 2

Spark 3 не удалялся без распределения компонент

Проблема с HDFS-балансировщиком при включенном Kerberos

Минимальная версия ADPS — 1.0.5

Минимальная версия ADCM — 2023.10.10.08

Добавлена возможность выбора версии TLS для сервисов ADH

Добавлена поддержка пользовательских интерпретаторов Zeppelin

Добавлен новый компонент Spark History Server для Spark3

Режим высокой доступности для ResourceManager активируется автоматически

Добавлена возможность использования кастомного Hive Metastore для Spark

Добавлена поддержка SSL для Hive Metastore

Добавлено действие Remove для сервиса MariaDB со статусом created

Версия Spark3 обновлена до 3.3.2

На странице сервиса ZooKeeper в ADCM добавлены ссылки на Admin Server endpoints

Улучшено выполнение действия Move

Исправлено: при наличии Airflow 2 невозможно удалить сервис Airflow 1, если установка последнего завершилась с ошибкой

Zeppelin: исправлена JDBC-строка подключения для сервиса Hive при включенном режиме высокой доступности

Hive: исправлена временная зона для date_format()

Исправлена ошибка Unable to close для NiFi hive3streaming

Исправлены ограничения GROUPING/DISTINCT для таблиц Hive с 64 столбцами и более

Hive: исправлена ошибка AssertionError для запросов с union

ZooKeeper: изменен порт по умолчанию для Admin Server

Airflow2: добавлен режим высокой доступности

Airflow2: добавлена поддержка аутентификации/авторизации с помощью LDAP

Airflow2: добавлена возможность внешней конфигурации брокера

Hive обновлен до версии 3.1.3

Дефолтное значение hive.server2.transport.mode изменено на binary

Убрана переменная cluster_version_before_upgrade из config.yaml.j2

HDFS: удалены RW-права из свойства dfs.permissions.superusergroup

Spark3: добавлен ADH python пакет в installation routine

Реализована кастомная конфигурация файла container-executor.cfg

Исправлены CORS-ошибки в ResourceManager UI2

Исправлено: отсутствие повторных попыток для задачи Disable balancer при сжатии HBase

Исправлено: отсутствие меток времени в ansible-логе в ADCM

Исправлено: настройки для checker-thriftserver не перезаписываются после повторной конфигурации

Исправлено: действие livy_spark3_move завершается неожиданным результатом

Исправлено: status checker не запускается для сервиса Spark3 после повторной установки

Исправлен конфликт checker-thriftserver с другим сервисами

Исправлено некорректное значение параметра dfs.datanode.https.address при выполнении действия Disable Kerberos

Исправлен процесс остановки NodeName для действия JournalNode expand

Исправлено: HDFS не останавливается, если включен Kerberos

Исправлены проблемы с Hive-Main JDBC

Исправлены разрешения для .jceks-файлов

Исправлено: импорт Sqoop Hive не работает при включенном Ranger-плагине

Исправлено поведение при остановке NameNode

Airflow2: исправлена поддержка соединения с внешними базами данных

Airflow2: исправлена конфигурация Redis

Airflow2: исправлено использование шаблонов для airflow.cfg (cfg_properties_template)

Airflow2: исправлены права для каталога конфигураций Redis

Airflow2: исправлен список уровней логирования

Исправлена неудачная проверка в случаях, если TEZ submit создает запись в Timelineserver

Исправлена ошибка в ZooKeeper zkCli.sh при включенном Kerberos

Исправлено: неудачные проверки Spark после выполнения операции YARN expand

Исправлены ошибки с отключением Kerberos

ADH MySQL Service: изменено отображаемое имя и версия

Исправлено описание параметра name.dirs в файле config.yml

Исправлено описание параметра spark.ssl.trustStore

Обновлено поведение hadoop.http.authentication.signature.secret.file

Обновлены версии offline-пакетов

Компонент livy-spark3 добавлен в сервис Spark3

Добавлен токен делегирования Hive

Добавлена опция Apply configs from ADCM для всех сервисов

Доступна сборка Flink 1.15.1

Добавлена возможность подключения к Flink JobManager в режиме высокой доступности (high availability)

Выполнена оптимизация по проверке пакетов для процесса установки

Выполнен рефакторинг параметров имперсонации Livy

Добавлена возможность настройки имперсонации Livy

Добавлен дополнительный параметр xasecure.add-hadoop-authorization

Действие Disable HA HiveServer2 использует команду deleteall вместо rmr

Выполнена оптимизация действий

Добавлена возможность удаления сервиса в состоянии created

Исправлена активация режима высокой доступности для YARN ResourceManager

Исправлено: сбой при включении SSL для Airflow2 на AltLinux

Исправлено: Flink TaskManager не запускается в режиме высокой доступности

Исправлено: отсутствие метрик при установке сервиса мониторинга в неправильном порядке

Исправлено: отсутствие действий в Spark3 Add Spark3 Livy, Remove Spark3 Livy

Исправлено: сбой при обновлении Flink с версии 2.1.6 на 2.1.7, если Job Manager и HDFS клиент расположены не на одном узле

Исправлено: отсутствует параметр container-executor.class в yarn-site.xml

Исправлено: сбой при установке Flink

Исправлено действие Manage ranger plugin в HBase

Исправлено: сбой действия Enable SSL из-за отсутствия ranger-hbase-plugin

Исправлен сбой при обновлении с версии 2.1.6.b4-1 на 2.1.7.b1-pre_rc

Исправлено: неверная минимальная версия для обновления

Исправлено: действия Enable HA/Disable HA приводят к несовпадению файлов конфигурации hive-site.xml на серверах

Исправлен сбой при действии Disable HA HiveServer2

Исправлена ошибка HBase SASL при подключении к керберизированному ZooKeeper (без hbase-jaas.conf)

Исправлена ошибка при расширении Hive Server 2 на хосте с Hive Metastore

Исправлено действие Add Hive Metastore

Исправлено: отсутствует описание для поля Reliability Control → timeout

Исправлено: тип Scheduler не передается в фильтр yarn_scheduler_jmx

Исправлено: отображение паролей в Ansible-логе во время действия Enable SSL

Исправлено: неверное значение Spnego keytab при расширении Hive Server 2

Исправлен список компонентов на странице Hosts - Components

Исправлено: необходимость установки драйвера jdbc-mysql на узлы, где присутствует сервис hive-client при использовании внетренней MariaDB

Действие Enable Ranger plugin для Hive приводит к сбою, если в Ranger не определены сервис Yarn и политики

Исправлено: повторное включение SSL приводит к сбою

Исправлено: не удается выполнить проверку Spark Thriftserver из-за использования FairScheduler

Исправлено: реконфигурация YARN приводит к сбою, если включен FairScheduler

Исправлены ошибки с порядком вывода хостов из эксплуатации (decommissioning)

Исправлен баг, связанный с невозможностью запуска Flink на YARN

Добавлен флаг install_flag: true в действие Upgrade

Исправлено наименование конфигураций сервисов (HDFS, HBase, Hive)

Исправлено наименование действий ADH-сервисов (HDFS, HBase, Hive)

Исправлены наименование и опечатки для действий по установке ADH

Изменен порядок действий при установке кластера, Kerberos и SSL

Исправлено: неверное значение Spnego keytab при расширении Hive Server 2

Исправлено: ошибка операции расширения (Expand) с принципалом http

Исправлено: действия Disable/Enable SSL/Kerberos доступны в любом состоянии

Исправлено: ошибка Spnego при отключении Kerberos для Hive

Добавлена возможность кастомизации krb5.conf через ADCM

Исправлено: Нарушается работа HDFS из-за отсутствия файлов Spark

Исправлена проблема с кастомными конфигурациями Hive

Добавлена поддержка AltLinux 8.4

Добавлена поддержка настройки ldap.conf через ADCM

Добавлена возможность керберизации кластера с помощью FreeIPA

Улучшена обработка ошибок с помощью cURL

Выполнен рефакторинг процесса логирования для Hive

Исправлено: невозможно изменить параметры в ranger-yarn-policymgr-ssl.xml (YARN)

Исправлено: невозможно изменить свойство hive.metastore.sasl.enabled (Hive)

Исправлено имя конфигурации после перезапуска Flink

Исправлена ошибка отсутствия пользователя Zeppelin при включении Ranger для YARN

Исправлено: невозможно изменить nameservice при установке с ошибкой (HDFS)

Исправлено: обновление кластера всегда переключает состояние на Installed

Исправлено: обновление Spark 3 не отключает старые репозитории в Alt Linux

Исправлено: для действия Reconfigure Kerberos отсутствует атрибут allow_to_terminate

Исправлено: YARN Resource Manager не запускается на Alt 8.4

Исправлено ClassNotFoundException при выполнении spark-sql с включенным плагином Ranger

Исправлено несоответствие между настройками безопасности в конфигурациях Spark и Spark3

Изменен код проверки в связи с обновлением версии Scala

Добавлена возможность указания внешних nameservices

Добавлена возможность подключения к HiveServer2 в отказоустойчивом режиме

Выполнен рефакторинг состояний компонентов кластера

Изменен порядок действий Stop, Start и Restart для сервиса HDFS

Улучшен процесс сбора метрик мониторинга для YARN-очередей

Удален read-only атрибут из свойства hadoop.security.auth_to_local

Исправлена ошибка статуса керберизации кластера после обновления бандла

Исправлено: переменная Ansible недоступна во время установки HDFS

Параметр hive.zookeeper.quorum сбрасывается при выполнении действия Hiveserver2 Disable

Исправлены разрешения для каталога dfs.datanode.data.dir

Добавлена возможность установки компонентов ADH из кастомного Docker registry

Добавлена опция Rewrite current service SSL parameters для действия Enable SSL

Добавлены новые параметры для интерпретатора Zeppelin Hive — для включения SSL и Kerberos

Реализованы повторные попытки создания принципалов Kerberos

Пользовательская аутентификация (LDAP/AD) включена для Hive2Server

Добавлено действие Move для Spark Livy Server

Добавлено действие Move для Spark History Server

Добавлено действие Move для Flink Job Manager

Добавлено действие Move для Sqoop Metastore

Добавлено действие Move для YARN Timeline Server

Добавлено действие Move для YARN MapReduce History Server

Добавлен Ranger-плагин для авторизации Solr

Добавлена возможность удалять сервисы из кластера

Добавлена возможность кастомизации конфигурационных файлов через ADCM

Добавлена поддержка Kerberos REALM

Соединение Solr для аудита изменено с сервера Solr на узел ZK

Изменение типа свойства с string на option при обновлении бандла больше не сбрасывает значение свойства

Параметры конфигурации SSL по умолчанию изменены с невидимых на доступные только для чтения

Исправлено: повторяющиеся ключи словаря в файле config.yaml, которые не позволяли пройти новую проверку YAML в ADCM

Исправлено: ошибка установки Zeppelin без Hive

Исправлено: пользователи могли изменять в сервисах некоторые параметры, связанные с Kerberos, доступные только для чтения

Исправлены сбои задач при включении свойства GPU on YARN

Исправлена ошибка с применением действия Remove service к Spark3

Исправлена ошибка с некорректным значением в interpereter.json в Zeppelin при отключенном SSL

Исправлено: после включения SSL политики не работали в Ranger

Исправлено: формат Container DN при использовании Enable Kerberos

Исправлена ошибка с некорректным сохранением значения HBASE_MASTER_OPTS в HBase

Исправлено: YARN не удается скопировать container-executor.cfg

Исправлено: статус задачи и результат не совпадали при удалении необязательных (опциональных) настроек в конфигурации сервиса ZooKeeper

Исправлено: действие Check, применяемое к Flink, завершалось неудачно, если хосты в ADCM имели заглавные буквы

Исправлено: сервисы не собирали политики Ranger в режиме SSL

Исправлено: применение действия Remove internal database фактически удаляло сам сервис

Добавлен фиксированный репозиторий плагинов Ranger Solr для ADH 2.1.4

Порядок обновления бандлов изменен с частного на общий

Реализованы зависимости между компонентами и сервисами на уровне ADCM

Плагины Ranger обновлены до версии 1.0.3

Добавлена возможность загрузки offline-пакетов ADH из исходного каталога Arenadata в прокси-репозиторий клиента

Аутентификация Kerberos включена для веб-интерфейса

Добавлена поддержка SSL для Ranger-плагинов

Добавлена поддержка SSL для Flink

Добавлена поддержка SSL для Sqoop

Операция отката доступна при сбое процесса керберизации

Добавлена поддержка SSL для Zeppelin

Добавлена поддержка SSL для Airflow

Добавлена поддержка SSL для Spark

Добавлена поддержка SSL для Solr

Добавлена поддержка SSL для Hive

Добавлена поддержка SSL для HBase

Добавлена поддержка SSL для YARN

Добавлена возможность настройки SSL в кластерах Hadoop

Добавлена поддержка SSL для HDFS

Блок настроек Custom hive-site.xml размещается после блока hive-site.xml в настройках конфигурации

Ссылки на NameNodes и HttpFS перемещены в начало списка веб-ссылок HDFS

Порядок действий по остановке кластера изменен на обратный

Действие Reconfig and restart заменено действием Restart, которое выполняет три операции: останавливает сервис, применяет параметры конфигурации и запускает сервис

Возможность выполнения действия resourcemanager_enable_ha без изменения hc_map отключена для Resource Manager

Возможность выполнения действия resourcemanager_expand без включения высокой доступности (HA) отключена для Resource Manager, так как он не работает без включения режима высокой доступности

Исправлено: параметры из конфигурационного файла httpfs-site.xml не применялись к сервису HttpFS

Исправлено: SQL-запросы, запущенные из Spark3 или Spark2, работали некорректно при включенном плагине Ranger Hive

Исправлено: параметры keystore/truststore, указанные в настройках сервиса, не переопределяли настройки кластера по умолчанию при per-service установке

Исправлено: Phoenix Query Server не мог работать в thin-режиме в керберизированной среде

Исправлено: ошибка запуска spark-thrift-server-checker после включения и отключения Kerberos

Исправлено: ошибка сохранения параметров конфигурации Flink после установки в керберизированной среде

Возможность работы с кластерами ADH с поддержкой Kerberos исправлена для операционной системы Windows

Исправлена ошибка Cluster Monitoring imported, but not installed во время установки кластера

Исправлена ошибка с проверкой доступа к схеме public базы данных ranger на этапе preconfigure-check

Исправлены ошибки установки кластера на этапе HBase check

Исправлено: логи приложений были недоступны в устаревшем интерфейсе Resource Manager в кластерах с поддержкой Kerberos

Исправлено: сбой керберизации в AD, если были установлены два экземпляра Ranger Admin

Добавлена настройка параметров SSL перед включением SSL в автотестах

Веб-ссылки переписаны для поддержки изменения схемы http/https

Выполнен рефакторинг базы данных для проверок Hive Metastore

Исправлена ошибка с установкой параметра kdc_type в null после обновления кластера

Исправлена ошибка, возникавшая в керберизированном кластере при запуске MapReduce-задач не под пользователем yarn

Исправлено: подключенные, но не установленные сервисы вызывали ошибки при установке других сервисов

Режим HTTP добавлен для HiveServer2

Добавлена авторизация AD/LDAP/SIMPLE для Zeppelin

Компонент HBase REST Server добавлен для HBase

Реализована возможность использования Active Directory в качестве хранилища Kerberos

Добавлена возможность установить Kerberos-принципал для запуска Spark-задач через YARN. До этого Spark всегда запускал задачи с использованием принципала yarn

Исправлена ошибка с расширением DataNodes с помощью действия Add DataNode в керберизированной среде

Исправлена ошибка работы интерпретатора Livy в керберизированной среде

Исправлена ошибка работы интерпретатора Hive в керберизированной среде

Исправлена ошибка с проверками Zeppelin после активации Kerberos

Исправлена ошибка с удалением компонента мониторинга jmxtrans

Исправлено: действие Enable Resource Manager HA не выполнялось в кластерах с включенным плагином Kerberos и Ranger

Исправлена ошибка установки Airflow в керберизированной среде

Исправлена ошибка с включением Kerberos после его отключения (включение → отключение → включение)

Добавлено полное тестирование стека для использования корпоративной лицензии RedHat 7.9 в ADH

Реализовано действие Reinstall status-checker. Запускает скрипты деплоя status-checker для сервисов, а также для контейнеров Docker

Изменена проверка Solr: вместо списков сравнивается количество живых Nodes

Увеличено количество тайм-аутов/повторных попыток для проверки Zeppelin

Исправлено: ошибка обновления версии бандла

Исправлено: Ranger-плагин работал некорректно при использовании определенных символов в имени кластера

Исправлено: ошибка с непостоянным состоянием обслуживания DataNodes после обновления ADH с 2.1.3 до 2.1.4

Исправлено: Keytab-разрешения изменялись при определенных действиях

Исправлено: ошибка при per-service установке в керберизированных кластерах ADH

Исправлено: ошибка парсинга списка контейнеров при использовании Docker status checker в Airflow

Исправлена ошибка с тестом размера heap

Исправлена несовместимость с текущей версией ADCM для разработчиков

Изменена тестовая логика per-service установки в керберизированных кластерах ADH: перед установкой каждого сервиса необходимо добавить сервис в кластер и добавить компоненты сервиса на хосты (вместо добавления всех компонентов на все хосты)

Интеграция MIT Kerberos реализована в ADCM

Реализована возможность добавления кастомного порта для Kerberos Server

Интегрированы Ranger-плагин и YARN с поддержкой Kerberos

Интегрированы Ranger-плагин и Hive с поддержкой Kerberos

Интегрированы Ranger-плагин и HBase с поддержкой Kerberos

Интегрированы Ranger-плагин и HDFS с поддержкой Kerberos

Ranger-плагин теперь работает в сервисах с поддержкой Kerberos

Добавлен параметр разделения памяти (split) для сервиса Hive: параметры управления ресурсами можно настроить отдельно для HiveMetastore и HiveServer2

Добавлена опция редактирования размера памяти для компонентов Flink

Добавлена опция редактирования размера памяти для компонентов Solr

Добавлена опция редактирования размера памяти для компонентов Sqoop

Добавлена опция редактирования размера памяти для компонентов Spark

Добавлена опция редактирования размера памяти для компонентов Zeppelin

Добавлена опция редактирования размера памяти для компонентов HBase

Добавлена опция редактирования размера памяти для компонентов YARN

Действия Add/Remove добавлены для YARN Timeline server

Действия Add/Remove добавлены для Sqoop Metastore

Добавлена опция редактирования размера памяти для компонентов HDFS

Добавлена опция управления памятью ADH

Действия Add/Remove добавлены для Flink Job Manager

Действия Add/Remove добавлены для Spark Thrift Server

Действия Add/Remove добавлены для Spark Livy Server

Действия Add/Remove добавлены для Spark History Server

Действия Add/Remove добавлены для Hive Tez UI

Действие Move добавлено для YARN MapReduce History Server

Добавлена реализация Kerberos для ADH в ADCM

Добавлена возможность перемещения любого сервисного компонента на другую Node или удаления его из кластера

Удалена ненужная проверка репозитория/пакетов на этапе установки HDFS для ADH EE

Путь к файлам docker-status-checker изменен

Исправлена ошибка с задачей refreshUserToGroupsMappings в керберизированном кластере

Исправлена ошибка, из-за которой Solr не работал после применения действий хоста

Исправлена ошибка с действием Enable Resource Manager HA в керберизированной среде

Исправлена ошибка с расширением/сжатием Spark в керберизированной среде

Исправлена ошибка со сжатием Solr в керберизированной среде

Исправлена ошибка с расширением YARN Node Manager в керберизированной среде

Исправлена ошибка Keytab does not exist: $user.home/hadoop.keytab

Исправлена ошибка с расширением/сжатием Flink Server

Исправлена ошибка с доступностью порта 6123 Flink JobManager Server

Исправлена ошибка с расширением Sqoop в керберизированной среде

Исправлена ошибка с расширением/сжатием сервера YARN

Исправлено: роль Solr пыталась импортировать отсутствующую роль мониторинга даже если мониторинг-сервис не установлен

Исправлена ошибка с запуском сервисного действия Install для Solr

Исправлена ошибка с расширением сервера Spark Livy в керберизированной среде

Исправлена ошибка с отключением Spark Thrift Server в керберизированной среде

Исправлена ошибка резервирования общей памяти Solr

Исправлена ошибка с керберизацией Solr без добавления сервисов Hadoop

Исправлена ошибка запуска jmxtrans после перезагрузки хоста

Исправлен неверный URL-адрес веб-интерфейса Hive Server

Исправлена ошибка с открытием ссылки на HiveServer2 UI после установки ADH

Исправлена ошибка с доступностью действий хоста после обновления кластера с 2.1.3.0 до 2.1.4.b2

Исправлено: сбой установки Enterprise-кластера при per-service действиях

Исправлено: сбой действия Reconfig and restart для сервиса мониторинга с установленным Airflow

Исправлено: процесс Spark ThriftServer не останавливался после удаления контекста Spark

Для ускорения автотестов и процесса разработки проверка пакетов сделана необязательной для определенных сред

Версии http и реестра перенесены на текущую версию ET-релиза

Добавлены спецификации для новых действий Spark и YARN MapReduce History Server

Добавлена возможность использовать внешний MySQL в AirFlow

Добавлена возможность использовать внешний PostgreSQL в AirFlow

Действия хоста добавлены для сервиса Spark3. Действия хостов здесь и ниже означают действия, управляемые на уровне хоста

Действия хоста добавлены для сервиса мониторинга

Действия хоста добавлены для сервиса Sqoop

Действия хоста добавлены для сервиса Airflow

Действия хоста добавлены для сервиса Solr

Действия хоста добавлены для сервиса Flink

Действия хоста добавлены для сервиса Zeppelin

Действия хоста добавлены для сервиса Spark

Действия хоста добавлены для сервиса MySQL

Действия хоста добавлены для сервиса Hive

Действия хоста добавлены для сервиса HBase

Действия хоста добавлены для сервиса YARN

Действия хоста добавлены для сервиса HDFS

Действие Sqoop Check изменено в соответствии с новыми переменными внешней базы данных Hive

Действия хоста переименованы

Удален файл solr-tools.jar из подмодуля Solr в бандле, так как он вызывал ошибки в CI

Исправлена ошибка с offline-установкой в операционной системе RH 7.9

Исправлена ошибка с применением действия Reconfig and restart к сервису мониторинга

Исправлена ошибка с установкой MySQL на хост, с которого этот сервис был удален ранее

Исправлена ошибка с метрикой YARN CPU utilization после установки кластера ADH

Исправлена ошибка с действием Maintenance DataNode, возникавшая из-за некорректного содержимого файла dfs.hosts (если ранее другой DataNode был переведен в состояние обслуживания)

Для отладки возможных проблем через Allure-отчеты реализован сбор логов для сервиса Airflow

Исправлено неверное описание в автотесте, реализующем миграцию на внешнюю базу данных MySQL

Изменены спецификации для тестирования действий хоста

Добавлены тесты для действий хоста

Добавлены спецификации и автотесты для сценариев сжатия ADH

Добавлена возможность определять кастомные переменные для среды HBase

Добавлено действие по удалению MySQL из кластера ADH

Добавлена возможность использовать внешний PostgreSQL в Hive Metastore

Добавлена возможность изменения значений host:port Hive Metastore

Добавлена возможность настройки Java Heap для HiveServer2

Добавлена возможность добавлять/изменять/удалять параметры конфигурации из файла httpfs-site.xml через ADCM

Добавлены стартовые проверки для JournalNodes и NameNodes

Spark 3.1.1 реализован для ADH 2.X

Добавлена возможность offline-установки для ADH

Действие Check улучшено для Sqoop

Изменен процесс сборки Solr: вместо внешних репозиториев Maven используются репозитории Arenadata

Реализована возможность использования Docker Registry из репозитория Arenadata

Для установки сервисов (например, Airflow) без DNS реализовано разрешение имен хостов в Docker-контейнерах

Реализована установка Airflow без DNS

Реализована проверка/ожидание принадлежности DN к кластеру от самого DN

Spark History Server стал обязательным

Проведен рефакторинг сервиса ZooKeeper

Исправлено: сбой установки Hive при добавлении компонента Tez без TezUI

Исправлено: повторяющийся ключ type: list удален из файла конфигурации бандла

Исправлено: YARN-приложения не могли запускать задачи после включения Ranger-плагина

Исправлена ошибка с действием Enable Resource manager HA в ADH Community Edition

Исправлена ошибка установки Sqoop после установки Ranger

Исправлены проблемы с HBase-логированием

Образы Docker в спецификациях пакетов изменены в соответствии с новым соглашением об именовании

Пакеты для релиза 2.1.4 загружены в репозиторий Google

Исправлен сбор логов для HttpFS во время автотестов

Создан репозиторий для версии продукта 2.1.4

Добавлена возможность обновления бандла без пересборки пакетов

Ненужные файлы удалены из архива сборки пакета

Для решения проблемы ansible с lint-issue добавлены опции pipefail для shell-задач

Добавлены тесты для проверки интеграции ADH и Ranger

Создана сборка ADH 2.1.3.1

Добавлены действия Remove/Add Hive Tez

Добавлены действия Add diamond и Remove diamond

Переработана логика расширения YARN Resource Manager

Логика проверки для клиента Spark изменена с parallel на in series

Интеграция с ADPS: новый бандл ADPS, содержащий Ranger, необходимо повторно интегрировать с ADH после перемещения Ranger из него

Исправлена ошибка с закрытием задач Hive после завершения проверок

Проверки Livy временно отключены

Исправлена ошибка с неверным именем кластера, возникавшая при создании сервиса HDFS через Ranger Admin

Исправлена ошибка с действием HDFS Remove Client

Исправлены неудачные проверки Hive CLI после включения плагина Ranger

Исправлена ошибка с подключением нескольких кластеров к одному ADPS

Репозиторий для плагинов добавлен в бандл релиза

Пакеты для релиза 2.1.3.0 загружены в репозиторий Google

Доступна сборка ADH 2.1.3.0

ADH обновлен до версии 2.1.3.0

Добавлены новые репозитории для плагинов Ranger

Отредактированы спецификации обхода ошибки с расширением HBase после расширения HDFS

Разработаны спецификации по расширению сервисов ADH

Добавлены клиентские компоненты для Flink

Добавлены клиентские компоненты для HDFS

Добавлены клиентские компоненты для YARN

В автотестах увеличено время ожидания для docker_container. Также добавлены проверки правильности порядка запуска сервисов в контейнерах

Изменен номер порта по умолчанию для MySQL в Airflow Metastore

Увеличено пространство для конфигураций Hadoop (например, /etc/hadoop/conf/, /etc/hive/conf и так далее) в образах Docker с Airflow

Исправлено состояние гонки в проверках Sqoop (часть 2 — с несколькими клиентами)

Исправлена ошибка установки кластера, возникавшая при установке MySQL

Исправлена ошибка установки кластера, возникавшая после проверки установки Spark

Пакеты релиза 2.1.2.5 загружены в репозиторий Google

Добавлена сборка offline-пакета для ADH в репозиторий ADH

ADH обновлен до версии 2.1.2.5

Добавлены тесты для клиентов YARN/HDFS

Добавлены спецификации для автотестов для клиентов YARN/HDFS

Внесены изменения в тесты Hadoop, связанные с загрузкой бандлов

Созданы автотесты для Airflow

В автотестах все обращения к файлам стали независимыми в текущей рабочей директории

Dev-репозиторий для ADH 2.1.2.5 инициализирован

Исправлены неправильные репозитории в релизе ADH и ET-пакетах

Исправлена ошибка с обработкой флага release_version

Пакеты скопированы из 2.1.2.3 в 2.1.2.4

Бандлы ADH разделены на версии Community и Enterprise

Реализован режим высокой доступности (High Availability, HA) для NameNode

Исправлена ошибка, возникавшая на этапе Restart NameNodes при выполнении действия Remove NameNode

Исправлена ошибка с проверкой Hive Tez на нескольких хостах

Исправлена ошибка с включением динамического выделения ресурсов

Исправлено: ZKFC игнорировал параметр dfs.namenode.rpc-bind-host и использовал параметр dfs.namenode.rpc-address для привязки к адресу хоста

Пакеты для релиза 2.1.2.3 загружены в репозиторий Google

Все спецификации, относящиеся к ADH20, перемещены в файл prj_adh. Изменен процесс публикация артефактов

Релизные и develop-репозитории разделены в бандлах

Установка epel-release отключена

Исправлено состояние гонки в проверках Sqoop

Исправлена ошибка с запуском кластерного действия Check

Пакеты релиза 2.1.2.2 загружены в репозиторий Google

ADH обновлен до версии 2.1.2.2

Nginx скопирован из репозитория Epel в репозиторий ADH2

Развертывание Sqoop перенесено на ALT Linux

Развертывание Solr перенесено на ALT Linux

Развертывание Flink перенесено на ALT Linux

Создан публичный репозиторий ALT Linux для ZooKeeper 3.4.14

Развертывание Airflow перенесено на ALT Linux

Добавлена возможность устанавливать лимиты nproc для HBase

Sqoop добавлен в бандлы ADH

Созданы пакеты ADH 2.x для ALT Linux

Solr 8.2.0 добавлен для ADH 2.2

Проведен рефакторинг процесса развертывания ADH для ALT Linux

Исправлена ошибка ввода/вывода Nodes из эксплуатации через ADCM

Исправлена ошибка Port already in use: 10102, возникшая с HBase hbck

Исправлен порядок общих компонентов

Исправлено: веб-ссылки в ADCM не обновлялись после сжатия HDFS DataNodes или YARN Node Manager

Исправлена ошибка, возникавшая с YARN 3.1.2 в ALT Linux при выполнении ansible-задач

Исправлено отсутствие org.json.JSONObject для Sqoop Metastore

Каталог /var/run/sqoop создан для Sqoop Metastore

Добавлена отсутствующая зависимость для пакетов, связанных с Flink

Исправлена ошибка установки HBase и Solr при использовании внешнего ZooKeeper

Развертывание Airflow отключено (отображаемое в ADCM и только для ALT Linux)

Изменен релизный публичный репозиторий

Пакеты для релиза 2.1.2.1 загружены в репозиторий Google

Изменения для libisal смерджены

Изменения для bigtop-groovy, bigtop-jsvc, bigtop-tomcat и bigtop-utils смерджены

Изменения для Bigtop смерджены

Изменения для Livy смерджены

Изменения для ZooKeeper смерджены

Изменения для Zeppelin смерджены

Изменения для Spark смерджены

Изменения для Phoenix смерджены

Изменения для Tez смерджены

Изменения для Hive смерджены

Изменения для HBase смерджены

Изменения для Hadoop смерджены

Ветки Bigtop для CentOS и ALT linux смерджены вручную

URL репозитория изменен на 2.1.2

Проверены автотесты для ADH-сервисов в соответствии с текущей версией стека

Добавлена возможность настройки Hive ACID

SELinux отключен для всех компонентов во время установки

Реализована поддержка Flink 1.8.0 для ADCM

Flink добавлен в бандл ADH

Улучшена логика действия Shrink

Поддержка GPU включена для YARN

Airflow добавлен в бандл ADH

Ссылка на пользовательский интерфейс Solr добавлена на главную страницу ADCM

Действия Shrink/Expand реализованы для HDFS HttpFS

Реализованы проверки HDFS HttpFS

Реализован облачный режим для Solr

Реализовано развертывание Solr

Solr добавлен в бандл ADH

Библиотеки Tez установлены на клиентских узлах Hive

Исправлено: невозможность использования Hive с Tez из-за несоответствия конфигурации

Исправлена ошибка с сохранением конфигураций для HDFS и YARN

Исправлена ошибка с проверками HBase после установки

Исправлена ошибка с проверками YARN в режиме высокой доступности

Добавлены тесты/примеры DAG для проверки функциональности Airflow

Добавлены тесты для проверки работоспособности Solr

Преобразование в кастомные единицы измерения systemd

Реализована конфигурация планировщика YARN

Реализован HDFS-mover

В пользовательский интерфейс ADCM добавлена кнопка Install на уровне кластера

Добавлена возможность определения внешнего ZooKeeper в файле core-site.xml

Добавлена возможность добавления кастомных/расширенных параметров конфигурации в файлы *-site.xml

Реализованы метки (labels) YARN Node

Реализован HDFS HttpFS

Реализована функция локального чтения для HDFS (HDFS Short-Circuit Local Reads)

Реализован балансировщик дисков HDFS (HDFS Disk Balancer)

Реализован балансировщик HDFS (HDFS Balancer)

Файлы *-site.xml приведены к общему виду

Функции assert и fail заменены на adcm_check

Выполнен рефакторинг мониторинга: унифицированы код/панели инструментов, переработаны метрики и так далее

Переменная имени хоста удалена из определения PID Zeppelin

Дашборд HDFS разделен на панели HDFS и YARN в Grafana

Изменены имена файлов Hadoop PID

Выполнено ручное тестирование установки ADH 2.1 согласно документации

Добавлены необходимые настройки для Hive/Tez

В файл config.yml добавлен блок hbase-site

Добавлены необходимые настройки для сервисов Hadoop

Добавлены быстрые ссылки на сервисы

HDFS rack awareness реализовано с помощью кастомных скриптов

Сервисы YARN и MapReduce объединены в один

Реализован режим высокой доступности для Resource Manager

Реализованы проверки на вывод из эксплуатации/повторный ввод в эксплуатацию (Decommission/Recommission) для NodeManagers

Реализованы проверки на вывод из эксплуатации/повторный ввод в эксплуатацию (Decommission/Recommission) для DataNodes

Zeppelin обновлен до версии 0.8.1

Поддержка Zeppelin реализована для ADCM

Поддержка Tez UI реализована для ADCM

Реализована возможность добавления нового Node Manager в ADH

Реализована возможность добавления новых DataNodes в кластеры ADH

Поддержка Spark реализована для ADCM

Ranger обновлен до версии 1.1

Добавлена конфигурация кворума ZooKeeper

Роль MySQL добавлена в бандл ADH (в виде сервиса)

Реализовано несколько каталогов конфигурации для Nodes

Включена агрегация журналов YARN

Были пересмотрены роли Spark и Hive

Роль Hadoop разделена на HDFS, YARN, MapReduce

Роль Hadoop для ADCM изменена

Добавлены отдельные роли для Hadoop

Роль ZooKeeper-сервиса перенесена из ADS-бандла

Выполнен рефакторинг базовых функций сервиса YARN

Исправлена ошибка с отсутствием параметра hbase.zookeeper.quorum после установки

Выполнена предрелизная подготовка для ADH 2.1.0

Файл EULA.txt добавлен в корень бандла

Репозиторий для пакетов ZooKeeper добавлен в ADH

Все подмодули ADH-бандла переключены в Master

Подготовлена документация по выведению из эксплуатации/восстановлению/режиму высокой доступности (Decommission/Recomission/HA)

Подготовлена документация по развертыванию HBase через ADCM

Подготовлена документация по развертыванию Spark через ADCM

Подготовлена документация по развертыванию Hive через ADCM

Подготовлена документация по развертыванию YARN через ADCM

Подготовлена документация по развертыванию HDFS через ADCM

Подготовлена документация для ADH-бандла

Реализованы автотесты для Spark

Реализованы автотесты для Hive

Реализованы автотесты для YARN

Реализованы автотесты для HDFS

Подготовлены smoke-тесты для проверки сервиса Livy Server

Подготовлены smoke-тесты для проверки сервиса Spark Thrift Server

Подготовлены smoke-тесты для проверки сервиса Livy Server

Подготовлены smoke-тесты для проверки сервиса Spark Server

Подготовлены smoke-тесты для проверки сервиса MySQL

Подготовлены smoke-тесты для проверки сервиса HBase

Подготовлены smoke-тесты для проверки сервиса Phoenix

Подготовлены smoke-тесты для проверки сервиса Hive

Подготовлены smoke-тесты для проверки сервиса HDFS

Подготовлены последние стабильные сборки для ADH