Релизы ADS

Ольга Семме

3.3.2

3.3.2.1.b1

 
     Дата: 11.04.2024

  • Новые функции

  • Улучшения

  • Исправленные баги

Добавлен новый конфигурационный параметр кластера Precheck packages, который включает/отключает проверки пакетов при выполнении действий Upgrade, Install, Expand. По умолчанию проверки отключены

Обновление сервисов до версии 3.3.2:

  • Kafka

  • Kafka Connect

Обновление сервисов до версии 7.3.2:

  • Schema Registry

  • Kafka REST Proxy

  • ksqlDB

Добавлена ​​возможность настройки подключения к JMX по логину/паролю

Действия в кластере Enable Kerberos, Disable Kerberos и Reconfig Kerberos заменены на Manage Kerberos, выполняющее общее улучшенное управление Kerberos (включение, отключение, настройка)

Исправлена проблема c отображением неверной информации в конфигурациях NiFi после включения плагина Ranger

2.8.1

2.8.1.1.b1

 
     Дата: 17.10.2023

  • Новые функции

  • Исправленные баги

  • Прочее

Реализована поддержка RedOS для Enterprise-версии бандла ADS

В NiFi добавлен дополнительный провайдер потоков GitFlow Provider

Реализована возможность настройки:

  • конфигурации переменных окружения для сервиса Kafka-Manager;

  • логирования для компонента Kafka-Manager.

Обновление NiFi до версии 1.20

Реализовано шифрование параметров конфигурации NiFi

Исправлена проблема с отображением неактуальных данных в сервисе Kafka-Manager

Максимальная версия ADPS — 1.0.4

Минимальная версия ADCM — 2023.10.10.08

1.8.2

1.8.2.b1

 
     Дата: 18.07.2023

  • Новые функции

  • Исправленные баги

  • Прочее

Реализована поддержка Astra Linux для Enterprise-версии бандла ADS

Переработано управление пользователями при аутентификации SASL PLAINTEXT и Basic Auth для использования записей типа secretmap в интерфейсе ADCM

Реализован показ лицензий Confluent в ADS при добавлении сервисов во время установки кластера

Реализована возможность настройки группы хостов для всех сервисов

Исправлена проблема с определением ansible_fqdn при запуске действий Expand и Shrink для сервиса Kafka Connect

Исправлена проблема с экспортом bootstrapServers и kafkaConnectClusters, перезаписываемых после перезапуска сервисов Kafka и Kafka Connect

Исправлена проблема с существующим znode перед созданием узла ZooKeeper

Исправлена проблема, возникавшая при удалении сервиса Monitoring Clients с помощью иконки delete

Для kafka-connect log4j установлены переменные вместо фиксации в коде

1.8.1

1.8.1.b1

 
     Дата: 13.04.2023

  • Новые функции

  • Исправленные баги

  • Прочее

Обновление Apache Zookeeper до версии 3.5.10

Обновление Kafka Connect до версии 2.8.1

Для сервиса Schema Registry добавлены действия Expand и Shrink

Добавлена установка набора инструментов Apache NiFi - MiNiFi - Toolkit одновременно с компонентом MiNiFi Agent. MiNiFi Toolkit предназначен для создания файлов конфигурации MiNiFi из экспортированных шаблонов NiFi

Добавлена возможность настройки сервисов для группы хостов для сервиса MiNiFi

Добавлена возможность настройки авторизации на MiNiFi C2 Server для группы хостов

Добавлены новые шаблоны log4j для сервиса ksqlDB, доступные к изменению во время конфигурирования компонента сервиса:

  • log4j_rolling_properties_template

  • ksql_migrations_log4j_properties_template

  • log4j_file_properties_template

  • log4j_silent_properties_template

Добавлены параметры уровня логирования в меню компонентов, доступные к изменению во время конфигурирования компонента сервиса

Автоматический перезапуск NiFi при запуске выключения аутентификации (без применения сервисного действия Restart)

Реализована возможность использования сервиса Kafka Connect отдельно от сервиса Kafka

Добавлен флажок Force rewrite services SSL configuration при запуске действия Enable SSL.

Реализована поддержка процессора Hive 3 для сервиса Nifi

Реализован переключатель уровня журнала connect-distributed-log4j.properties для компонента сервиса Kafka Connect Worker

Исправлена проблема с данными кластера ADS в конфигурации ADSCC при импорте из ADS в ADSCC

Исправлена ошибка с NoNode ZooKeeper

Исправлена ошибка ограничения Kafka Connect в автотестах

Исправлена ошибка при запуске действия Disable SSL

Исправлена проблема с использованием неправильных портов для конфигурации группы хостов при запуске действия Enable SSL

Исправлена ошибка в ZooKeeper при создании znode

Исправлена ошибка установки ZooKeeper

Исправлена проблема с перезаписью импорта cluster_info, возникающая, когда хост-группа компонента Kafka Connect Worker пуста при запуске действия Shrink для сервиса Kafka Connect

Исправлена ошибка, возникающая при установке более одного экземпляра Schema Registry

Исправлена ошибка Connection refused при проверке работоспособности Kafka Manager после перехода от инструмента curl к запросам

Исправлена проблема с некорректным отображением порта пользовательского интерфейса NiFi, переопределенного через группу конфигурации для одного хоста

Исправлена проблема с созданием пути про установке ZooKeeper

Исправлена ошибка URL can’t contain control characters в автотестах обновления

Исправлена проблема с перезапуском NiFi-Registry, возникающая, если создана группа конфигурации для NiFi

Исправлена проблема с запуском Kafka, возникающая после того как LOG_DIR изменен через группу конфигурации

Исправлена проблема с запуском Schema-Registry в тестах при обновлении до версии 1.7.X

Исправлена проблема с отключением SASL PLAIN, когда SSL включен, а NiFi не установлен

Исправлена проблема с применением к хосту изменения конфигурации SSL

Исправлена проблема с удалением нескольких узлов NiFi

Удалена двойная проверка при запуске действия Enable SSL

Измененено наименование сервиса KSQL на ksqlDB

Отключена поддержка обновления версий ранее 1.4.11

1.8.0

1.8.0.b1

 
     Дата: 02.02.2023

  • Новые функции

  • Исправленные баги

  • Известные проблемы

Добавлена возможность удаления сервиса из кластера в интерфейсе ADCM

Реализована поддержка Alt 8 SP в minifi.sh для сервиса NiFi версии 1.18

Изменены версии:

  • компонентов NiFi Server и NiFi Registry до версий Apache NiFi 1.18;

  • сервиса MiNiFi до версии Apache MiNiFi 1.18.

Исправлена проблема с активацией плагина NiFi Server Ranger при обновлении с 1.6.X, 1.7.0 и 1.7.X

Исправлена проблема с экспортом имени кластера ADS в кластер ADSCC после обновления кластера ADS

Исправлена проблема с обновлением основной информации о сервисах после применения действий Expand и Shrink
Проблема Обходное решение

После обновления работающего кластера ADS до версии 1.8.0.b1 все процессоры в интерфейсе NiFi Server, имеющие определенные параметры (password, web hook url, auth token и т.д.), будут отмечены предупреждением attention

Для решения проблемы необходимо:

  • открыть параметры процессора, нажав на иконку config на палитре операций процессора NiFi;

  • заново ввести необходимые параметры.

1.7.2

1.7.2.b2

 
     Дата: 10.01.2023

  • Новые функции

  • Исправленные баги

Появилась возможность очистки файлов пользователей и авторизаторов при включении SSL в NiFi

Появилась возможность базовой аутентификации для следующих сервисов ADS:

  • Schema Registry

  • Kafka REST Proxy

  • KSQL

Исправлена проблема с созданием служебных keytab

Исправлена проблема с выходом из строя кластера после неверной настройки параметров для сервиса NiFi при включении SSL

Исправлена проблема при включении SSL в кластере с сервисом NiFi и мониторингом без установки ADPS
1.7.2.b1

 
     Дата: 06.12.2022

  • Новые функции

Для NiFi Registry (компонент сервиса NiFi) реализована возможность авторизации Ranger — защита доступа при хранении и управлении общими ресурсами в одном или нескольких экземплярах NiFi

Добавлена возможность управлять всеми параметрами при помощи пользовательского интерфейса ADCM во всех конфигурационных файлах

1.7.1

1.7.1.b1

 
     Дата: 17.10.2022

  • Новые функции

Для ADS добавлена поддержка операционной системы AltLinux 8.4

Для сервиса NiFi добавлен плагин авторизации Ranger, реализована возможность добавления или удаления разрешений на обработку сообщений в NiFi

Для ADS добавлена поддержка сервиса Kafka Connect и механизма Mirror Maker 2. Для получения дополнительной информации по Mirror Maker 2 можно обратиться к статье Mirror Maker 2

1.7.0

1.7.0.b2

 
     Дата: 26.07.2022

  • Исправленные баги

Исправлена проблема при обновлении кластера ADS с существующими потоками NiFi с 1.6.2.b4 до 1.7.0.b1
1.7.0.b1

 
     Дата: 16.06.2022

  • Новые функции

  • Прочее

Для сервиса NiFi добавлена аутентификация LDAP/AD

Для ADS в ADCM реализована возможность удаления пользователя

Для сервиса NiFi добавлена возможность работы с опцией _routing при помощи процессора NiFi Elasticsearch

Для сервисов ADS реализовано переключение уровня логирования (log level) для сервисов

Для ADS в ADCM реализована возможность настройки защиты канала по протоколу SSL

Бамп Kafka на новый стек версий

1.6.2

1.6.2.b4

 
     Дата: 21.12.2021

  • Исправленные баги

Исправлена ошибка установки kdc_type после обновления
1.6.2.b3

 
     Дата: 16.12.2021

  • Новые функции

  • Исправленные баги

Для ADS реализована возможность использовать Active Directory в качестве хранилища Kerberos

Для сервиса ZooKeeper реализована возможность добавления набора логов для удаления (tear-down)

Исправлена ошибка при запуске кластерного действия Actions → Reinstall status checker
1.6.2.b2

 
     Дата: 29.10.2021

  • Новые функции

  • Исправленные баги

  • Прочее

Для ADS в ADCM реализовано действие Reinstall status checker

Реализована возможность работы status checker с пассивными компонентами, такими как client

Не указано время хранения данных топика Kafka

Добавлены автотесты установки ADS с поддержкой Kerberos по сервисам

Добавлен автотест действия Upgrade с установленным Kerberos

Для ADS добавлено полное тестирование стека корпоративной лицензии RedHat 7.9 в ADS

Обновлены тесты status checker
1.6.2.b1

 
     Дата: 24.09.2021

  • Новые функции

  • Исправленные баги

  • Прочее

Докер для ADS передан в использование

Добавлен список местоположений сервисных логов журналов в конфигурацию бандла

Для ADS реализована аутентификация по протоколу Kerberos

Для ADS создана инфраструктура для включения аутентификации по протоколу Kerberos

Устранена проблема с интеграцией ADS и Enterprise Tools

Для сервиса ZooKeeper устранена ошибка с действием Check, которое вместо проверки работоспособности выполняло установку и настройку сервиса

Устранена ошибка в запуске offline-установки на RH 7.9

Устранено некорректное выполнение действий для сервиса ZooKeeper

Устранена ошибка автономной установки

Для сервиса NiFi устранена некорректная работа при передаче метрик на сервис Graphite кластера Monitoring Clients

Исправлена ошибка с неунифицированными именами хостов для сервиса Graphite

Исправлена ошибка с повторяющимися ключами конфигурации

Для сервиса Kafka исправлена периодическая ошибка при проверке

Для сервиса NiFi исправлена ошибка, возникающая при совершении действия Shrink, если узел NiFi не успел подключиться к кластеру

Для сервиса NiFi исправлена ошибка, возникающая при совершении действия Expand, когда выбран неправильный хост

Для всех сервисов исправлена ошибка: сервисы, установленные при помощи действия Action → Install, не изменяли состояние на Installed

Изменена версия формата бандла ADS

Отключен автозапуск для действия Shrink

Изменена максимальная версия для импорта

Добавлен параметр ветки в .gitmodules

Выполнена интеграция репозитория adcm_job_repo в ADS

Добавлена возможность обновлять бандл без пересборки пакетов

Собрана карта портов для компонентов ADS

Создан pack-file для автономной установки CE с Enterprise Tools

Добавлен автотест для проверки работы Ranger с Kerberos

1.6.0

1.6.0.0

 
     Дата: 09.03.2021

  • Новые функции

  • Улучшения

  • Исправленные баги

  • Прочее

Реализована поддержка SASL/PLAIN для сервисов Kafka, KSQL, Schema-Registry, Kafka-Rest, Kafka-Manager

Реализована возможность добавления/обновления пользователей для SASL/PLAIN

Реализована интеграция ADS с ADPS (Arenadata Platform Security)

Реализована поддержка Ranger Kafka Plugin

Реализована поддержка Service Dependency Tree

Реализовано сервисное действие Check для проверки сервисов с помощью утилиты systemctl

Реализовано разделение бандла ADS на Enterprise-версию и Community-версию

Увеличена версия Kafka до 2.6.0

Увеличена версия KSQL до 0.11.0

Репозиторий ZooKeeper и Alt-репозиторий загружены в Google

Для сервиса Schema-Registry улучшена проверка

Улучшено время выполнения тестов и добавлены новые фикстуры из плагина

Улучшены параметры конфигурации Schema-Registry

Переработана Kafka Cluster post task в Kafka-Manager

Переработано добавление задач NiFi Metric Report

Переработано использование adcm_check в роли utils

Переработана проверка работоспособности сервиса NiFi

Переработан services_dependecies_check.yaml

Переработан adcm_role_jmxtrans

Переработаны сервисы

Переработаны действия и состояния кластера и сервисов ADS

Возможность импорта Graphite и Grafana перемещена в сервис Monitoring Clients

Миграция Kafka-Manager в Docker-контейнер

Все проверки сервисов стали более информативными

Появилась возможность добавления параметров в конфиг сервиса Schema-Registry

Исправлена проблема с запуском плагина Ranger

Исправлена проблема с состоянием сервиса Monitoring clients после действия Ugrade

Исправлена проблема c поддержкой версии Kafka при обновлении с 1.4.X

Исправлена проблема c запуском сервиса Schema-Registry после обновления

Исправлена ожшибка в Kafka-Manager

Исправлены ошибки в ansible-lint

Репозиторий в config.yaml разделен с флагом -r

ADS 1.6.0 загружен в Google

Добавлена библиотека Guava в сборку ranger-kafka-plugin

Проверено использование json_query

Добавлен тег Monitoring_dependency_check к действию Expand

Перенесены автотесты ADS в провайдер SSH

Для автотестов все обращениия к файлам организованы независимо от текущего рабочего каталога

Добавлено создание кластеров с общей функцией из плагина в автотестах

Переработаны тесты с целью использования только фикстур области действия

Добавлены services_install_order в конфигурацию

Обновлены тесты для использования бандла YCC 2.11

Добавлены тесты дерева зависимостей сервисов

Добавлена переработка тестов для разных редакций

Реализована сборка компонентов с зависимостью от ZooKeeper 3.5.8:

  • MiNiFi 0.7.0

  • NiFi-Registry 0.7.0

  • NiFi 1.12.0

Реализована сборка ZooKeeper 3.5.8

Реализована сборка Kafka 2.6.0

Реализована стандартизация проверки сервисов

Реализована сборка последних стабильных бандлов для ADS 1.6.0

Переработана реализация зависимостей сервисов

Добавлен автотест клиентов мониторинга

Добавлен автотест MiNiFi

1.5.0

1.5.0.2

 
     Дата: 21.05.2020

  • Исправленные баги

  • Прочее

Исправление ошибок в работе автономного режима для версии 1.5.0.1

Подготовка бандла для автономной установки 1.5.0

Создание и размещение offline-бандлов
1.5.0.1

 
     Дата: 24.04.2020

  • Новые функции

  • Улучшения

  • Исправленные баги

  • Прочее

Созданы открытые репозитории:

  • Centos для бандлов ADS 1.5.0

  • Centos для ZooKeeper 3.5.6

  • Altlinux для ZooKeeper 3.5.6

  • Altlinux для бандлов ADS 1.5.0

Внедрение сервиса MiNiFi для ADCM

Для сервиса MiNiFi реализованы действия:

  • Install

  • Start/Stop/Restart

  • Check

  • Expand

  • Shrink

Для сервиса MiNiFi реализован мониторинг

Для ADS в ADCM добавлены общие действия для сервиса MiNiFi

Увеличение версий сервисов:

  • NiFi до 1.10.0

  • NiFi Registry до 0.5.0

  • Kafka до 2.4.0

  • KSQL до 5.4

  • Schema Registry bump до 5.4.0

  • Kafka Rest Proxy до 5.4.0

  • ZooKeeper 3.5.6

Добавлена ​​поддержка версии Kafka 2.4.0 в Kafka-Manager

Снижена версия Kafka-Manager до 1.3.3.23

Переработана возможность мониторинга сервиса NiFi

Переработан пользовательский интерфейса Kafka-Manager

Переработан бандл ADS для Altlinux

Переработана роль ZooKeeper для Altlinux

Переработан service_main_info.yaml

Переработан сервис Schema-Registry

Переработан сервис Kafka-Manager

Переработана обработка состояний кластера и сервисов

Изменена единица измерения метрик Kafka

Переработано действие Check сервиса Kafka

Переработан вызов роли systemd в сервисе ZooKeeper

Переработаны действия кластеров и сервисов для нескольких типов сценариев

Переработаны роли репозиториев

Переработана конфигурация NiFi Registry для версии 0.5.0

Переработана конфигурация NiFi для версии 1.10.0

Переработана конфигурация Kafka для версии 2.4.0

Переработана роль Kafka

Переработана роль ZooKeeper

Пересобран пакет MiNiFi

Исправлена ошибка при сборке сервиса Schema-registry

Исправлена ошибка при создании пользовательских каталогов сервиса NiFi

Исправлена ошибка при установке сервиса MiNiFi (сбой задачи Ansible)

Исправлена проблема с закодированным именем шаблона во внешней ссылке на сервер MiNiFi C2

Исправлена проблема при выполнении действия Expand для сервиса NiFi

Исправлены деструктивные действия при проверке репозитория

Исправлена проблема обновления дочерних пакетов при обновлении основных пакетов

Пересобран пакет сервиса ZooKeeper

Исправлена проблема коллектора Diamond для сервиса MiNiFi

Исправлена проблема запуска от имени пользователя во время выполнения для агента MiNiFi

Исправлена проблема сбоя сервиса Kafka-Manager после смены версии

Исправлена проблема со сборкой NiFi

Исправлена проблема — _verify_installation не исключается при сборке бандлов

Исправлен LOG_DIR для всех сервисов

Изменена логика загрузки версии бандла

Для сервиса ZooKeeper переработаны тесты действий Shrink и Expand сервисов при подключении через IP-адрес

Для сервиса NiFi добавлены тесты работы действий Shrink и Expand

Для сервиса ZooKeeper добавлены тесты работы действий Shrink и Expand

Для сервиса ZooKeeper добавлена ​​проверка результатов Shrink и Expand

Добавлено обновление сервера Kafka REST Proxy

Добавлен вызов adcm_check после каждой задачи обновления сервиса

Для сервиса Kafka добавлен тест работы действия Shrink

Добавлен вызов adcm_check после каждой задачи

Включить StatusLogger для MiNiFi Agent

Для сервиса MiNiFi разработан сценарий для передачи метрик в Graphite

Добавлен тест действия Upgrade для бандлов ADS 1.3.X и 1.4.X

Перемещен service_rolling_restart.yaml в роль utils

Добавлена невидимая конфигурация в config.yaml для вычисляемой переменной сервиса

Добавлена задача обновления ZooKeeper в 3.5.6

Подготовлены документы для версии 1.5.0.1

Выполнена сборка последних стабильных пакетов для ADS 1.5.0

Выполнен перенос ADS на Altlinux

Добавлены тесты обновления кластера

Добавлен скрытый по умолчанию параметр для репозитория ZooKeeper в конфигурацию сервиса

Добавлены тесты работы действий Shrink и Expand для кластера

Добавлена проверка зависимости NiFi для сервиса MiNiFi

Разработан сервер C2 MiNiFi

Добавлен тег перезапуска в adcm-utils для задачи service_main_info.yaml

Добавлено принятие лицензии в тестах

Перенесены изменения с branch-adsm-1.5-allinux на branch-adsm-1.5 для сборки Centos и altlinux из одной ветки

Обновлено лицензионное соглашение
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней