Релизы ADPS

Сергей Тихомиров, Константин Алпашкин

2.0.0

2.0.0.b1

 
     Дата: 30.10.2025

  • Новые сервисы

  • Обновления

  • Новые функции

  • Улучшения

  • Исправленные баги

  • Прочее

Добавлен сервис OpenBao 2.3.2

Ranger обновлен до версии 2.6.0_arenadata2

Обновления Ranger

  • ADPS-1094: Добавлена поддержка ротации логов аудита HDFS

  • ADPS-1110: Добавлен hive-chained-plugin для HDFS

  • ADPS-1111: Добавлен hive-chained-plugin для Ozone

Добавлена поддержка Astra Linux 1.7 "Воронеж"

Добавлена поддержка AltLinux 10 SP

Реализовано кеширование LDAP-аутентификаций для Knox

Добавлен компонент Resource mapping manager для сервиса Ranger, позволяющий сопоставлять ресурсы и права на них между Hadoop SQL и Storage (HDFS, Ozone)

Добавлена возможность настраивать следующие .env-файлы для компонентов сервиса Ranger:

  • ranger-admin-env.sh

  • ranger-usersync-env.sh

  • ranger-kms-env.sh

Кластерное действие Add/Remove components теперь работает корректно

ADCM переписывал конфигурационные файлы при перезапуске Knox, даже если опция Apply ADCM configs не была активна

Перед обновлением кластера удалите сервис MariaDB, так как он признан устаревшим

Минимальная версия ADCM — 2.7.0

1.2.2

1.2.2.b1

 
     Дата: 25.06.2025

  • Обновления

  • Новые функции

  • Прочее

Ranger обновлен до версии 2.6.0_arenadata1

Обновления Ranger

  • Установлены верные права для файлов и директорий в кеше:

    • Для управления правами на директории в кеше добавлено свойство policy.cache.dir.perms, по умолчанию имеющее значение 755.

    • Функция mkdirs() заменена на метод Files.createDirectories() с передачей прав на директорию через FileAttribute.

    • Обновлен метод AuditFileUtil.createDirectoryWithPermissions() для явного вызова Files.setPosixFilePermissions() после создания директории, чтобы гарантировать применение желаемых прав.

    • Исправлены вызовы в классах AuditFileSpool, AuditFileQueueSpool и AuditFileCacheProviderSpool: метод setPermissions() теперь использует indexDoneFile вместо indexFile.

  • Установлены верные права для spool-файлов:

    • Теперь права spool-файлов по умолчанию соответствуют 644.

    • После создания файла права устанавливаются с помощью AuditFileUtil.setPermissions().

Добавлена поддержка Maintenance mode в ADCM

Теперь Ranger использует ADPG в качестве metastore по умолчанию

Реализован плагин Ranger для Trino

Добавлена возможность изменять настройки логирования Knox CLI в ADCM

Добавлено кластерное действие Add/Remove components, позволяющее изменять топологию кластера

Тем, кто использует MariaDB в качестве metastore для Ranger, рекомендуется перейти на ADPG, т.к. сервис MariaDB будет удален в будущих релизах

Минимальная версия ADCM — 2.5.0

1.2.1

1.2.1.b1

 
     Дата: 31.01.2025

  • Обновления

  • Новые функции

  • Улучшения

  • Исправленные баги

  • Прочее

Ranger обновлен до версии 2.5.0_arenadata2

Обновления Ranger

  • Добавлен commons-compress в сборку плагина Kafka.

  • Добавлен ZooKeeper в сборку плагина Ozone.

Добавлена поддержка RedOS 7.3 для Enterprise-версии бандла ADPS

Действия Add, Remove, Shrink, Expand и Move заменены на одно действие Add/Remove components для Knox

Активация Samba Kerberos завершалась с ошибкой на AltLinux

Минимальная версия ADCM — 2.3.0

1.2.0

1.2.0.b1

 
     Дата: 30.10.2024

  • Обновления

  • Новые функции

  • Улучшения

  • Исправленные баги

Knox обновлен до версии 2.0.0_arenadata1 с патчами, перечисленными ниже.

Патчи Knox

  • KNOX-2923: Support JDK17

  • KNOX-2973: HbaseUI>Table Details not accessible from Knox endpoint intermittently

  • KNOX-2995: json contains NaN value parsing failed

  • KNOX-2996: Add proxy for hdfs UI network topology

  • KNOX-3013: Knox redirecting Yarn Node Manager URLs to http instead of https

  • KNOX-3029: Fix Ozone version in ozone-scm 1.4.0 service.xml

  • KNOX-3045: Adding the most recent service definitions for Ranger

 
Также обновлены версии зависимостей

Ranger обновлен до версии 2.5.0_arenadata1 вместе с версиями зависимостей.

Также были добавлены следующие улучшения:

  • Поддержка Hive 4.0.0.

  • Возможность указывать регулярное выражение для валидации пароля.

  • Реализация плагина Ranger ADSC.

  • Реализация плагина Ranger SSM.

Solr обновлен до версии 8.11.3_arenadata1

ZooKeeper обновлен до версии 3.8.4_arenadata1

ADPG обновлен до версии 16

Добавлена поддержка Ubuntu 22.04.2 LTS

Добавлена проверка на конфликты портов, которая выполняется перед запуском некоторых действий

Действия Add, Remove, Shrink, Expand и Move заменены на одно действие Add/Remove components для Ranger

Knox: действие Add Knox Gateway завершалось с ошибкой при включенном плагине Ranger Knox

Knox: действие Reload topologies завершалось с ошибкой при использовании сложных паролей

Knox: действие Add Knox Gateway завершалось с ошибкой при включенном плагине Ranger Knox и активированном Kerberos

1.1.2

1.1.2.b1

 
     Дата: 23.07.2024

  • Новые функции

  • Улучшения

  • Исправленные баги

Введена поддержка доменного контроллера Samba

Разработан режим высокой доступности (High Availability, HA) для Ranger KMS

Вместо Enable/Disable SSL добавлено новое действие Manage SSL, позволяющее более удобно управлять SSL-шифрованием для сервисов кластера ADPS

Пользовательские настройки теперь переписывают существующие, даже если они read-only

Для компонентов сервисов Ranger и Knox добавлены действия на уровне хостов

Некорректная топология Hive в Knox

Пользователи могли запускать действие Move Ranger User synchronizer при состоянии Ranger faulty_installed

1.1.1

1.1.1.b2

 
     Дата: 27.04.2024

  • Улучшения

Устранена необходимость устанавливать Axiom JDK при использовании Astra Linux

Добавлена возможность устанавливать пользовательское значение переменной JAVA_HOME
1.1.1.b1

 
     Дата: 27.03.2024

  • Новые функции

  • Исправленные баги

  • Прочее

Добавлены JDBC-проверки

Добавлено шифрование конфигураций для всех сервисов ADPS

Изменены права на директории и файлы в бандле для поддержки установки продукта на файловую систему со значением umask равным 027

Неправильная подсказка у чекбокса Update solr TTL configs in ZooKeeper в действии Restart для Solr

Новая политика Ranger для сервиса больше не создается, если уже есть существующая

Неверное значение параметра auth_to_local в настройках политики Ranger HDFS

Кастомные параметры не применялись к Solr

Теперь минимально поддерживаемая версия ADCM — 2.0

1.1.0

1.1.0.b2

 
     Дата: 27.04.2024

  • Улучшения

Устранена необходимость устанавливать Axiom JDK при использовании Astra Linux
1.1.0.b1

 
     Дата: 26.12.2023

  • Новые функции

  • Улучшения

  • Исправленные баги

Добавлена поддержка AstraLinux 1.7 SE "Орел"

В ADCM добавлены настройки логирования для Ranger

Обновлена версия Ranger до 2.4.0 со следующими патчами:

  • RANGER-3231: Ranger should use kafka Authorizer from KIP-504

  • RANGER-3809: Implement authorizeByResourceType method of Kafka Authorizer

  • RANGER-3939: Implement acls, createAcls and deleteAcls in Kafka Authorizer

  • RANGER-3974: Upgrade jackson version to 2.14.0

  • RANGER-3795: Fix java patch J10033 and J10046 failure

  • RANGER-3992: Jar files is missing when compile with higher version of Hadoop

  • RANGER-4201: Hbase master can’t start due to ranger-hbase-plugin jersey jar class loading order

  • RANGER-4228: Kafka2.8 can’t restart after enable ranger plugin

Изменены настройки подключения Ranger к базе данных Metastore для повышения гибкости

Обновлен драйвер Postgres JDBC, поставляемый в дистрибутиве

Неправильный протокол в URL для проверки сервисов Knox

Аудит Solr работал при выключенном плагине Ranger

1.0.5

1.0.5.b2

 
     Дата: 30.11.2023

  • Исправленные баги

Ошибка обновления URL-адреса репозитория в некоторых случаях при offline-обновлении
1.0.5.b1

 
     Дата: 20.10.2023

  • Новые функции

  • Исправленные баги

Apache Ranger обновлен до версии 2.2.0

Добавлена поддержка Ranger для Impala

Отсутствие флага allow_to_terminate для действий с кластером

Отсутствие опции no_log для задач в Ranger playbooks

Ошибка установки при использовании внешней PostgreSQL

Ошибка обновления URL Knox/Ranger после отключения SSL

Solr не запускался после увеличения/уменьшения числа инстансов ZooKeeper

1.0.4

1.0.4.6

 
     Дата: 21.06.2023

  • Новые функции

  • Исправленные баги

Добавлена возможность использования определенной версии TLS

Добавлена возможность настройки TTL для документов Ranger audit в коллекциях Solr

Добавлена возможность указания JVM-параметров при старте Solr

Добавлена возможность логирования событий Knox в Ranger

Исправлены проблемы аудита Solr для плагина Solr Ranger

Исправлены ошибки аудита Solr при использовании внешнего ZooKeeper

Исправлено: аудит Knox не работает в керберизированной среде

Исправлено: операция Move для Ranger User synchronizer приводит к ошибке при отключении хоста
1.0.4.4

 
     Дата: 21.02.2023

  • Улучшения

  • Исправленные баги

  • Прочее

Добавлена возможность редактирования hadoop.security.auth_to_local

Добавлены ссылки Knox jdbc gateway для Hive, исправлена топология

Исправлены cluster_type, пути и шаблоны для топологий ADPS/Ranger

Исправлено: сервис со статусом created не может быть удален

Исправлена проблема при выполнении операции expand в случае, если используется Kerberos HTTP-принципал и сервер является частью AD-домена

Исправлена ошибка Hive SPNEGO Disable Kerberos

Исправлена ошибка при выполнении процедуры expand для Ranger admin при включенном Kerberos

Исправлено некорректное значение Ranger Zone Name в аудите

Исправлены правила в hadoop.security.auth_to_local при добавлении нового Kerberos realm

Исправлено использование сертификатов/ключей Knox после выполнения действия Enable SSL

Удалены keystore/trustore-пароли из лога Ansible

Обновлен лог мониторинга: Remove исправлено на remove

Сервис ADPS MySQL: изменено отображаемое имя и версия
1.0.4.3

 
     Дата: 27.10.2022

  • Исправленные баги

  • Прочее

Исправлена проблема при выполнении операции expand в случае, если используется Kerberos HTTP-принципал и сервер является частью AD-домена

Удалены Kerberos-действия Disable/Enable/Reconfigure для кластера в upgradable-состоянии
1.0.4.2

 
     Дата: 25.10.2022

  • Новые функции

  • Улучшения

Добавлена поддержка плагина Nifi Registry для Ranger-конфигурации

Оптимизирована последовательность шагов для действия Disable Kerberos
1.0.4.1

 
     Дата: 16.09.2022

  • Новые функции

Поддержка AltLinux 8.4 добавлена в ADPS

В ADPS добавлена поддержка интеграции с Kerberos FreeIPA через ADCM

1.0.3

1.0.3.2

 
     Дата: 08.06.2022

  • Улучшения

  • Исправленные баги

  • Прочее

Solr может получать аудит-данные от ZK-ноды вместо Solr-сервера

Исправлено предупреждение Solr rangeradmin: no such user

cluster.before_upgrade.state изменено на cluster.state

Выполнен рефакторинг состояний
1.0.3.1

 
     Дата: 08.06.2022

  • Новые функции

  • Исправленные баги

  • Прочее

Добавлена поддержка Knox для ADPS

Добавлена возможность перезаписи SSL-параметров для сервисов

Добавлено действие Remove monitoring components

Добавлен плагин Ranger для авторизации Solr

Реализован переключатель уровней логирования для Knox gateway

Добавлена возможность аутентификации пользователей в Knox gateway с использованием AD

Добавлена возможность керберизации в Knox gateway

Добавлено создание топологий Knox при импорте кластера

Реализована конфигурация Knox gateway в ADCM

Добавлены действия для управления Knox gateway

Добавлены действия Add/Remove для Knox gateway

Реализована возможность добавления Knox gateway в существующий кластер

Добавлена возможность установки Knox gateway в ADPS-кластер

Исправлено: параметры Ranger SSL Admin не сохраняются в нужный файл

Исправлен Solr-аудит в Ranger UI

Исправлены сбои при выполнении действий Solr

Исправлен процесс аудита для сервисов ADH

Исправлены тесты Ranger-сервисов для действий Ranger

Улучшена проверка соединения с внешней БД для задачи preconfigure-check

Пакеты 1.0.3 доступны в публичном репозитории

Добавлены действия на уровне кластера для удаления сервиса

Упорядочены зависимости компонентов и сервисов

Исправлен автотест Install Knox customized

1.0.2

1.0.2.9

 
     Дата: 04.05.2022

  • Исправленные баги

Исправлена ошибка керберизации с помощью AD в случае, если установлены два инстанса Ranger Admin
1.0.2.8

 
     Дата: 21.03.2022

  • Новые функции

  • Улучшения

  • Исправленные баги

  • Прочее

Добавлена возможность настройки SSL для ADPS-кластера

Добавлен переключатель уровней логирования для сервисов

Добавлена возможность использования SSL для Ranger

Выполнен рефакторинг действий управления сервисами

Исправлены ошибки в керберизированных сервисах при выполнении процедуры expand

Исправлена очередность операций действия Disable Kerberos для Solr

Исправлено: установка Ranger-сервиса не выполняется при per-service инсталляции

Исправлено: сбой установки кластера в случаях, если ADM импортирован, но не установлен

Исправлено: создание и проверка импортированного (но не установленного) ADM

Изменены репозитории пакетов

Улучшены проверки Ranger, в частности проверка endpoint URL

Добавлен список разрешенных сервисов (white list) для Ranger
1.0.2.7

 
     Дата: 08.02.2022

  • Исправленные баги

Исправлено: синхронизация пользователей через LDAP/AD не зависит от активации LDAP/AD Ranger Admin

Исправлено добавление новых конфигурационных параметров в kms-site.xml
1.0.2.6

 
     Дата: 21.12.2021

  • Исправленные баги

Исправлены проблемы с установкой сервисов

Исправлено: kdc_type не обновляется после процедуры апгрейда
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней