Релизы ADS

Исправлена проблема с отображением панели управления компонентом Grafana сервиса Prometheus

Исправлены ошибки импорта HDFS

Исправлен сбой, возникавший при запуcке действия Expand для ZooKeeper

Исправлена ​​ошибка шифрования конфигурации NiFi, возникавшая при работе с кириллическими символами на AltLinux sp 8.4

Исправлено отсутствие zk_keystore.pw в конфигурации NiFi, что приводило к сбою кластера NiFi

Исправлено наличие импорта Schema-Registry после удаления сервиса

Исправлена ​​ошибка 404, связанная с NiFi Registry и Ranger при обновлении кластера ADS версии 1.7.x

Исправлено отсутствие конфигурации окружения для сервиса Kafka REST Proxy

Реализована поддержка многоуровневого хранилища Tiered Storage для сервиса Kafka

Реализована поддержка протокола the Kafka Raft (KRaft) для управления метаданными в Kafka

Реализована поддержка коннекторов Debezium в Kafka Connect для серверов PostgreSQL и MS SQL

Реализован новый сервис Monitoring

Реализован импорт кластера ADH для автоматической настройки многоуровневого хранилища (Tiered Storage)

Исправлена ошибка с паролем в поле Initial Admin при включении аутентификации в сервисе NiFi

Исправлена проблема с действием Manage Kerberos в кластере ADS с установленными сервисами NiFi и Monitoring clients

Исправлена ошибка Error getting tags в логах NiFi и NiFi-Registry при включенном Kerberos

Исправлена проблема c обновлением SSL-атрибутов NiFi после неудачного запуска действия Enable SSL

Важно! Возможность использования протокола KRaft для Kafka предоставляется в качестве раннего доступа и не рекомендуется для использования в продуктовой среде. Возможность миграции из ZooKeeper в KRaft и обратно отсутствует, возможна только установка с нуля

Работа в сервисе Kafka-Manager не доступна при использовании протокола KRaft

Минимальная версия ADCM — 2.3.0

Минимальная версия ADH для импорта HDFS при настройке многоуровневого хранилища — 3.3.6.2.b1

Разработан плагин kafka-rest-security для авторизации в сервисе Kafka REST Proxy

Обновление сервиса ZooKeeper до версии 3.8.4

Реализована поддержка Java 17

Добавлена ​​возможность изменять /etc/kafka/conf/core-site.xml при включении плагина Ranger

Улучшено размещение параметров на конфигурационной странице сервиса Kafka

На конфигурационной странице сервиса Kafka изменен вид параметра Kafka log.cleaner.enable и его значение по умолчанию (false → true)

Все пользовательские параметры, введенные при помощи поля Add key, value, перезаписывают существующие параметры

Ошибка при подключении групп LDAP и политик NiFi

Начиная с текущей версии ADS используемая версия Java — 17. Перед обновлением или установкой ADS в ​​операционных системах Centos, RedHat и AstraLinux необходимо вручную установить Java 17, а также настроить переменную JAVA_HOME

Реализована поддержка Samba DC

Реализована поддержка Ubuntu

Обновление NiFi до версии 1.23.2

Добавлено новое кластерное действие — Restart

Действия в кластере Enable SSL и Disable SSL заменены на Manage SSL, выполняющее общее улучшенное управление защитой канала по протоколу SSL

Минимальная версия ADS, с которой может быть выполнено обновление — 1.7

Добавлен новый конфигурационный параметр кластера Precheck packages, который включает/отключает проверки пакетов при выполнении действий Upgrade, Install, Expand. По умолчанию проверки отключены

Добавлена ​​возможность настройки подключения к JMX по логину/паролю

Действия в кластере Enable Kerberos, Disable Kerberos и Reconfig Kerberos заменены на Manage Kerberos, выполняющее общее улучшенное управление Kerberos (включение, отключение, настройка)

Исправлена проблема c отображением неверной информации в конфигурациях NiFi после включения плагина Ranger

Реализована поддержка RedOS для Enterprise-версии бандла ADS

В NiFi добавлен дополнительный провайдер потоков GitFlow Provider

Обновление NiFi до версии 1.20

Реализовано шифрование параметров конфигурации NiFi

Исправлена проблема с отображением неактуальных данных в сервисе Kafka-Manager

Максимальная версия ADPS — 1.0.4

Минимальная версия ADCM — 2023.10.10.08

Реализована поддержка Astra Linux для Enterprise-версии бандла ADS

Переработано управление пользователями при аутентификации SASL PLAINTEXT и Basic Auth для использования записей типа secretmap в интерфейсе ADCM

Реализован показ лицензий Confluent в ADS при добавлении сервисов во время установки кластера

Реализована возможность настройки группы хостов для всех сервисов

Исправлена проблема с определением ansible_fqdn при запуске действий Expand и Shrink для сервиса Kafka Connect

Исправлена проблема с экспортом bootstrapServers и kafkaConnectClusters, перезаписываемых после перезапуска сервисов Kafka и Kafka Connect

Исправлена проблема с существующим znode перед созданием узла ZooKeeper

Исправлена проблема, возникавшая при удалении сервиса Monitoring Clients с помощью иконки

Для kafka-connect log4j установлены переменные вместо фиксации в коде

Обновление Apache Zookeeper до версии 3.5.10

Обновление Kafka Connect до версии 2.8.1

Для сервиса Schema Registry добавлены действия Expand и Shrink

Добавлена установка набора инструментов Apache NiFi - MiNiFi - Toolkit одновременно с компонентом MiNiFi Agent. MiNiFi Toolkit предназначен для создания файлов конфигурации MiNiFi из экспортированных шаблонов NiFi

Добавлена возможность настройки сервисов для группы хостов для сервиса MiNiFi

Добавлена возможность настройки авторизации на MiNiFi C2 Server для группы хостов

Добавлены параметры уровня логирования в меню компонентов, доступные к изменению во время конфигурирования компонента сервиса

Автоматический перезапуск NiFi при запуске выключения аутентификации (без применения сервисного действия Restart)

Реализована возможность использования сервиса Kafka Connect отдельно от сервиса Kafka

Добавлен флажок Force rewrite services SSL configuration при запуске действия Enable SSL.

Реализована поддержка процессора Hive 3 для сервиса Nifi

Реализован переключатель уровня журнала connect-distributed-log4j.properties для компонента сервиса Kafka Connect Worker

Исправлена проблема с данными кластера ADS в конфигурации ADSCC при импорте из ADS в ADSCC

Исправлена ошибка с NoNode ZooKeeper

Исправлена ошибка ограничения Kafka Connect в автотестах

Исправлена ошибка при запуске действия Disable SSL

Исправлена проблема с использованием неправильных портов для конфигурации группы хостов при запуске действия Enable SSL

Исправлена ошибка в ZooKeeper при создании znode

Исправлена ошибка установки ZooKeeper

Исправлена проблема с перезаписью импорта cluster_info, возникающая, когда хост-группа компонента Kafka Connect Worker пуста при запуске действия Shrink для сервиса Kafka Connect

Исправлена ошибка, возникающая при установке более одного экземпляра Schema Registry

Исправлена ошибка Connection refused при проверке работоспособности Kafka Manager после перехода от инструмента curl к запросам

Исправлена проблема с некорректным отображением порта пользовательского интерфейса NiFi, переопределенного через группу конфигурации для одного хоста

Исправлена проблема с созданием пути про установке ZooKeeper

Исправлена ошибка URL can’t contain control characters в автотестах обновления

Исправлена проблема с перезапуском NiFi-Registry, возникающая, если создана группа конфигурации для NiFi

Исправлена проблема с запуском Kafka, возникающая после того как LOG_DIR изменен через группу конфигурации

Исправлена проблема с запуском Schema-Registry в тестах при обновлении до версии 1.7.X

Исправлена проблема с отключением SASL PLAIN, когда SSL включен, а NiFi не установлен

Исправлена проблема с применением к хосту изменения конфигурации SSL

Исправлена проблема с удалением нескольких узлов NiFi

Удалена двойная проверка при запуске действия Enable SSL

Измененено наименование сервиса KSQL на ksqlDB

Отключена поддержка обновления версий ранее 1.4.11

Добавлена возможность удаления сервиса из кластера в интерфейсе ADCM

Реализована поддержка Alt 8 SP в minifi.sh для сервиса NiFi версии 1.18

Исправлена проблема с активацией плагина NiFi Server Ranger при обновлении с 1.6.X, 1.7.0 и 1.7.X

Исправлена проблема с экспортом имени кластера ADS в кластер ADSCC после обновления кластера ADS

Исправлена проблема с обновлением основной информации о сервисах после применения действий Expand и Shrink

Появилась возможность очистки файлов пользователей и авторизаторов при включении SSL в NiFi

Исправлена проблема с созданием служебных keytab

Исправлена проблема с выходом из строя кластера после неверной настройки параметров для сервиса NiFi при включении SSL

Исправлена проблема при включении SSL в кластере с сервисом NiFi и мониторингом без установки ADPS

Для NiFi Registry (компонент сервиса NiFi) реализована возможность авторизации Ranger — защита доступа при хранении и управлении общими ресурсами в одном или нескольких экземплярах NiFi

Добавлена возможность управлять всеми параметрами при помощи пользовательского интерфейса ADCM во всех конфигурационных файлах

Для ADS добавлена поддержка операционной системы AltLinux 8.4

Для сервиса NiFi добавлен плагин авторизации Ranger, реализована возможность добавления или удаления разрешений на обработку сообщений в NiFi

Для ADS добавлена поддержка сервиса Kafka Connect и механизма Mirror Maker 2. Для получения дополнительной информации по Mirror Maker 2 можно обратиться к статье Mirror Maker 2

Исправлена проблема при обновлении кластера ADS с существующими потоками NiFi с 1.6.2.b4 до 1.7.0.b1

Для сервиса NiFi добавлена аутентификация LDAP/AD

Для ADS в ADCM реализована возможность удаления пользователя

Для сервиса NiFi добавлена возможность работы с опцией _routing при помощи процессора NiFi Elasticsearch

Для сервисов ADS реализовано переключение уровня логирования (log level) для сервисов

Для ADS в ADCM реализована возможность настройки защиты канала по протоколу SSL

Бамп Kafka на новый стек версий

Исправлена ошибка установки kdc_type после обновления

Для ADS реализована возможность использовать Active Directory в качестве хранилища Kerberos

Для сервиса ZooKeeper реализована возможность добавления набора логов для удаления (tear-down)

Исправлена ошибка при запуске кластерного действия Actions → Reinstall status checker

Для ADS в ADCM реализовано действие Reinstall status checker

Реализована возможность работы status checker с пассивными компонентами, такими как client

Не указано время хранения данных топика Kafka

Добавлены автотесты установки ADS с поддержкой Kerberos по сервисам

Добавлен автотест действия Upgrade с установленным Kerberos

Для ADS добавлено полное тестирование стека корпоративной лицензии RedHat 7.9 в ADS

Обновлены тесты status checker

Докер для ADS передан в использование

Добавлен список местоположений сервисных логов журналов в конфигурацию бандла

Для ADS реализована аутентификация по протоколу Kerberos

Для ADS создана инфраструктура для включения аутентификации по протоколу Kerberos

Устранена проблема с интеграцией ADS и Enterprise Tools

Для сервиса ZooKeeper устранена ошибка с действием Check, которое вместо проверки работоспособности выполняло установку и настройку сервиса

Устранена ошибка в запуске offline-установки на RH 7.9

Устранено некорректное выполнение действий для сервиса ZooKeeper

Устранена ошибка автономной установки

Для сервиса NiFi устранена некорректная работа при передаче метрик на сервис Graphite кластера Monitoring Clients

Исправлена ошибка с неунифицированными именами хостов для сервиса Graphite

Исправлена ошибка с повторяющимися ключами конфигурации

Для сервиса Kafka исправлена периодическая ошибка при проверке

Для сервиса NiFi исправлена ошибка, возникающая при совершении действия Shrink, если узел NiFi не успел подключиться к кластеру

Для сервиса NiFi исправлена ошибка, возникающая при совершении действия Expand, когда выбран неправильный хост

Для всех сервисов исправлена ошибка: сервисы, установленные при помощи действия Action → Install, не изменяли состояние на Installed

Изменена версия формата бандла ADS

Отключен автозапуск для действия Shrink

Изменена максимальная версия для импорта

Добавлен параметр ветки в .gitmodules

Выполнена интеграция репозитория adcm_job_repo в ADS

Добавлена возможность обновлять бандл без пересборки пакетов

Собрана карта портов для компонентов ADS

Создан pack-file для автономной установки CE с Enterprise Tools

Добавлен автотест для проверки работы Ranger с Kerberos

Реализована поддержка SASL/PLAIN для сервисов Kafka, KSQL, Schema-Registry, Kafka-Rest, Kafka-Manager

Реализована возможность добавления/обновления пользователей для SASL/PLAIN

Реализована интеграция ADS с ADPS (Arenadata Platform Security)

Реализована поддержка Ranger Kafka Plugin

Реализована поддержка Service Dependency Tree

Реализовано сервисное действие Check для проверки сервисов с помощью утилиты systemctl

Реализовано разделение бандла ADS на Enterprise-версию и Community-версию

Увеличена версия Kafka до 2.6.0

Увеличена версия KSQL до 0.11.0

Репозиторий ZooKeeper и Alt-репозиторий загружены в Google

Для сервиса Schema-Registry улучшена проверка

Улучшено время выполнения тестов и добавлены новые фикстуры из плагина

Улучшены параметры конфигурации Schema-Registry

Переработана Kafka Cluster post task в Kafka-Manager

Переработано добавление задач NiFi Metric Report

Переработано использование adcm_check в роли utils

Переработана проверка работоспособности сервиса NiFi

Переработан services_dependecies_check.yaml

Переработан adcm_role_jmxtrans

Переработаны сервисы

Переработаны действия и состояния кластера и сервисов ADS

Возможность импорта Graphite и Grafana перемещена в сервис Monitoring Clients

Миграция Kafka-Manager в Docker-контейнер

Все проверки сервисов стали более информативными

Появилась возможность добавления параметров в конфиг сервиса Schema-Registry

Исправлена проблема с запуском плагина Ranger

Исправлена проблема с состоянием сервиса Monitoring clients после действия Ugrade

Исправлена проблема c поддержкой версии Kafka при обновлении с 1.4.X

Исправлена проблема c запуском сервиса Schema-Registry после обновления

Исправлена ожшибка в Kafka-Manager

Исправлены ошибки в ansible-lint

Репозиторий в config.yaml разделен с флагом -r

ADS 1.6.0 загружен в Google

Добавлена библиотека Guava в сборку ranger-kafka-plugin

Проверено использование json_query

Добавлен тег Monitoring_dependency_check к действию Expand

Перенесены автотесты ADS в провайдер SSH

Для автотестов все обращениия к файлам организованы независимо от текущего рабочего каталога

Добавлено создание кластеров с общей функцией из плагина в автотестах

Переработаны тесты с целью использования только фикстур области действия

Добавлены services_install_order в конфигурацию

Обновлены тесты для использования бандла YCC 2.11

Добавлены тесты дерева зависимостей сервисов

Добавлена переработка тестов для разных редакций

Реализована сборка ZooKeeper 3.5.8

Реализована сборка Kafka 2.6.0

Реализована стандартизация проверки сервисов

Реализована сборка последних стабильных бандлов для ADS 1.6.0

Переработана реализация зависимостей сервисов

Добавлен автотест клиентов мониторинга

Добавлен автотест MiNiFi

Исправление ошибок в работе автономного режима для версии 1.5.0.1

Подготовка бандла для автономной установки 1.5.0

Создание и размещение offline-бандлов

Внедрение сервиса MiNiFi для ADCM

Для сервиса MiNiFi реализован мониторинг

Для ADS в ADCM добавлены общие действия для сервиса MiNiFi

Добавлена ​​поддержка версии Kafka 2.4.0 в Kafka-Manager

Снижена версия Kafka-Manager до 1.3.3.23

Переработана возможность мониторинга сервиса NiFi

Переработан пользовательский интерфейса Kafka-Manager

Переработан бандл ADS для Altlinux

Переработана роль ZooKeeper для Altlinux

Переработан service_main_info.yaml

Переработан сервис Schema-Registry

Переработан сервис Kafka-Manager

Переработана обработка состояний кластера и сервисов

Изменена единица измерения метрик Kafka

Переработано действие Check сервиса Kafka

Переработан вызов роли systemd в сервисе ZooKeeper

Переработаны действия кластеров и сервисов для нескольких типов сценариев

Переработаны роли репозиториев

Переработана конфигурация NiFi Registry для версии 0.5.0

Переработана конфигурация NiFi для версии 1.10.0

Переработана конфигурация Kafka для версии 2.4.0

Переработана роль Kafka

Переработана роль ZooKeeper

Пересобран пакет MiNiFi

Исправлена ошибка при сборке сервиса Schema-registry

Исправлена ошибка при создании пользовательских каталогов сервиса NiFi

Исправлена ошибка при установке сервиса MiNiFi (сбой задачи Ansible)

Исправлена проблема с закодированным именем шаблона во внешней ссылке на сервер MiNiFi C2

Исправлена проблема при выполнении действия Expand для сервиса NiFi

Исправлены деструктивные действия при проверке репозитория

Исправлена проблема обновления дочерних пакетов при обновлении основных пакетов

Пересобран пакет сервиса ZooKeeper

Исправлена проблема коллектора Diamond для сервиса MiNiFi

Исправлена проблема запуска от имени пользователя во время выполнения для агента MiNiFi

Исправлена проблема сбоя сервиса Kafka-Manager после смены версии

Исправлена проблема со сборкой NiFi

Исправлена проблема — _verify_installation не исключается при сборке бандлов

Исправлен LOG_DIR для всех сервисов

Изменена логика загрузки версии бандла

Для сервиса ZooKeeper переработаны тесты действий Shrink и Expand сервисов при подключении через IP-адрес

Для сервиса NiFi добавлены тесты работы действий Shrink и Expand

Для сервиса ZooKeeper добавлены тесты работы действий Shrink и Expand

Для сервиса ZooKeeper добавлена ​​проверка результатов Shrink и Expand

Добавлено обновление сервера Kafka REST Proxy

Добавлен вызов adcm_check после каждой задачи обновления сервиса

Для сервиса Kafka добавлен тест работы действия Shrink

Добавлен вызов adcm_check после каждой задачи

Включить StatusLogger для MiNiFi Agent

Для сервиса MiNiFi разработан сценарий для передачи метрик в Graphite

Добавлен тест действия Upgrade для бандлов ADS 1.3.X и 1.4.X

Перемещен service_rolling_restart.yaml в роль utils

Добавлена невидимая конфигурация в config.yaml для вычисляемой переменной сервиса

Добавлена задача обновления ZooKeeper в 3.5.6

Подготовлены документы для версии 1.5.0.1

Выполнена сборка последних стабильных пакетов для ADS 1.5.0

Выполнен перенос ADS на Altlinux

Добавлены тесты обновления кластера

Добавлен скрытый по умолчанию параметр для репозитория ZooKeeper в конфигурацию сервиса

Добавлены тесты работы действий Shrink и Expand для кластера

Добавлена проверка зависимости NiFi для сервиса MiNiFi

Разработан сервер C2 MiNiFi

Добавлен тег перезапуска в adcm-utils для задачи service_main_info.yaml

Добавлено принятие лицензии в тестах

Перенесены изменения с branch-adsm-1.5-allinux на branch-adsm-1.5 для сборки Centos и altlinux из одной ветки

Обновлено лицензионное соглашение