Добавлена статья Примеры использования ADCM AIO Client.
Добавлена статья Примеры использования ADCM AIO Client.
Добавлены Release notes для версии хостпровайдера 3.12.1.
Учтены изменения в релизе ADS 3.7.2.1.b1 от 21.04.2025:
Обновлены Release notes.
Актуализированы статьи Поддерживаемые сервисы ADS и Матрица совместимости версий.
Добавлена статья Миграция Kafka на KRaft.
В разделе Kafka статьи Конфигурационные параметры ADS:
Описан параметр KRaft migration mode.
Добавлены подразделы Rolling restart safety checks и Custom listeners.
В приведенных ниже статьях описано сервисное действие Add/Remove components, заменившее действия Expand и Shrink:
Добавлен раздел KRaft migration stage в статью Действия в Kafka.
В статье Настройка кластера:
Описан параметр arenadata_java в разделе Primary configuration → Repositories.
Обновлены прочие параметры.
В статью Обзор Kafka Connect добавлено упоминание Iceberg Sink Connector.
Удалены все упоминания сервиса Kafka-Manager.
Добавлена статья Обзор MiNiFi.
Актуализирована статья Конфигурационные параметры ADS.
Учтены изменения в релизе ADPG 16.3.3 от 15.04.2025:
Добавлены Release notes.
Изменения в системе мониторинга отражены в следующих статьях:
В статью Обзор отказоустойчивости ADPG добавлено описание Patroni basic auth.
В статье Поддерживаемые расширения описаны следующие расширения: pg_orphaned, pg_repack, pg_vector, timescaledb_toolkit.
Актуализирована статья Известные проблемы ADPG.
Добавлены новые статьи:
В разделе ADPG → ADPG configurations → Custom postgresql.conf статьи Конфигурационные параметры перечислены параметры, которые не могут быть изменены в секции Custom postgresql.conf.
В разделе Хранилища бэкапов статьи Резервное копирование и восстановление с использованием pgBackRest расширен комментарий с информацией о настройке POSIX-хранилищ.
Добавлены Release notes для релиза ADB 6.27.1.61 от 14.04.2025.
Учтены изменения в релизе ADCM 2.6.0 от 03.04.2025:
Добавлены Release notes.
В рамках статьи Bundle DSL:
В разделе actions → config_jinja описана переменная groups.
В разделе config → Свойства параметров конфигурации описаны параметр ansible_options и опция unsafe.
В разделе actions описан параметр allow_for_action_host_group.
В разделе components добавлено примечание к описанию параметра bound_to.
Из статьи Inventory-группы Ansible удален неактуальный раздел Группы для операций special action.
Добавлены новые статьи:
Добавлен раздел Offline-обновление в статью Обновление.
В разделе Создание группы хостов статьи Настройка групп хостов для действий откорректировано описание под рисунком Добавленные в группу хосты.
Во всех текстах на русском языке произведена замена слова проблема на concern.
Учтены изменения в релизе ADQM 24.8.8.17.2.b1 от 24.03.2025:
Обновлена статья Сервис мониторинга:
Актуализированы все рисунки.
Обновлен вводный текст.
Обновлена таблица Компоненты сервиса Monitoring в разделе Шаг 2. Добавление компонентов.
В раздел Шаг 3. Настройка сервиса добавлено примечание с информацией об активируемой секции Metrics.
В разделе Шаг 5. Проверка результатов изменены номера используемых по умолчанию портов.
В статье Конфигурационные параметры:
Добавлены параметры в раздел Monitoring → Prometheus settings → Service parameters.
Добавлено примечание в раздел ADQMDB → Encryption codecs for tables.
В статью Примеры использования clickhouse-copier добавлена информация о том, что clickhouse-copier не работает с типами данных Variant, Dynamic и JSON.
Обновлена статья Аппаратные требования к сети:
Таблица с портами разделена на следующие вкладки (по одной вкладке на продукт): ADQM, Monitoring, Enterprise Tools, ADCM.
Актуализированы порты, используемые ADQM.
Добавлено описание Enterprise Tools (ET) в статью Offline-установка.
Добавлены разделы Порты Arenadata Enterprise Tools и Порты Arenadata Monitoring в статью Сетевые порты ADH.
Добавлено описание Enterprise Tools (ET) в статью Offline-установка.
Добавлены разделы Arenadata Enterprise Tools и Arenadata Monitoring в статью Требования к оборудованию.
Добавлены разделы Порты Arenadata Enterprise Tools и Порты Arenadata Monitoring в статью Требования к сети.
Добавлено описание Enterprise Tools (ET) в статью Offline-установка.
Добавлены разделы Arenadata Enterprise Tools и Arenadata Monitoring в статью Аппаратные требования к серверам.
Добавлено описание Enterprise Tools (ET) в статью Установка Arenadata Streaming Control.
Добавлено описание Enterprise Tools (ET) в статью Offline-установка.
Добавлены разделы Arenadata Enterprise Tools и Arenadata Monitoring в статью Требования к оборудованию.
Добавлено описание Enterprise Tools (ET) в статью Offline-установка.
Добавлены разделы Arenadata Enterprise Tools и Arenadata Monitoring в статью Требования к оборудованию.
Добавлены разделы Порты Arenadata Enterprise Tools и Порты Arenadata Monitoring в статью Требования к сети.
В раздел Просмотр списка активных потоков статьи Disaster recovery добавлена схема Возможные статусы stream.
Учтены изменения в релизе ADQM 24.8.8.17.2.b1 от 24.03.2025:
Добавлены Release notes.
Описано кластерное действие Manage SSL в статье Шифрование SSL.
Обновлен пример в статье Аутентификация по SSL-сертификату.
Актуализирована статья Конфигурационные параметры:
Обновлены следующие разделы и параметры:
ADQMDB → SSL Configuration
ADQMDB → Intra-cluster communication security → Enable secure intra-cluster communication
Chproxy → Network configuration → Use HTTP to connect to ADQMDB
Zookeeper → SSL configuration
Monitoring → Prometheus settings
ADQMDB → Encryption codecs for tables
Добавлены новые разделы:
ADQMDB → Metrics
Zookeeper → Metrics
Clickhousekeeper → Metrics
Удален раздел Monitoring → ADQM’s services metric settings.
В рамках статьи Проксирование обновлен шаблон prefix* в описании поля Proxy wildcarded users → List of user names.
Добавлен раздел Пример доступа ADQM к HDFS керберизованного кластера ADH в статью Интеграция ADQM и HDFS.
Добавлен раздел Пример подключения ADQM к Kafka с установленным Kerberos SASL в статью Интеграция ADQM и Kafka.
Добавлено описание Enterprise Tools (ET) в статью Offline-установка.
Добавлены разделы Arenadata Enterprise Tools и Arenadata Monitoring в статью Аппаратные требования к серверам.
Учтены изменения в релизе ADS Control 2.4.0.b1 от 17.03.2025:
Добавлены Release notes.
Добавлена статья Работа сo Schema-Registry в ADS Control.
Добавлена статья Аутентификация LDAP.
В статье Работа с топиками в ADS Control:
Описано поле Tiered storage в рамках раздела Обзор страницы Topics.
Обновлены разделы Создание топика и Вкладка Configuration.
Добавлена статья Матрица совместимости версий.
В статье Создание кластера актуализирован раздел Шаг 1. Загрузка бандла.
Добавлены Release notes для релиза ADB 6.27.1.60 от 07.03.2025.
В статье Программные требования раздел Требования для Astra Linux переименован в Требования для Astra Linux и Ubuntu.
В статье Создание кластера актуализирован раздел Шаг 1. Загрузка бандла.
Учтены изменения в релизе ADB Control 4.12.0 от 07.03.2025:
Добавлены Release notes.
В статью Общие настройки добавлен раздел Metrics.
В рамках статьи Мониторинг команд:
В разделе Детали команды → Performance обновлены рисунки и добавлены описания метрик Spill size и Spill files number в таблицу Поля таблицы с метриками по каждому сегменту.
В разделе Метрики, собираемые для команд актуализированы описания метрик группы Spill files.
В статье Аутентификация с использованием LDAP обновлены рисунок и комментарий под таблицей.
Учтены изменения в релизе ADBM 2.4.0 от 07.03.2025:
Добавлены Release notes.
В разделе Добавление новой конфигурации → Repository статьи Управление конфигурациями в ADBM обновлен рисунок, а также добавлена информация о параметрах:
Server-side encryption options
Type
Key
В статье Просмотр бэкапов в ADBM обновлены все рисунки. В таблицы Backup list fields, Fields of the Topology section и раздел Backup details добавлена информация об индикаторе времени выполнения бэкапа.
В статье Disaster recovery:
Обновлены все рисунки.
Добавлено описание поля On restore points streaming failure и его возможных значений Pause и Bring online.
Обновлены значения поля Restore mirrors.
В раздел Просмотр списка активных потоков добавлено описание статусов Pause, Copying.
В раздел Просмотр списка завершенных потоков добавлено описание статуса Cancelled.
В раздел Просмотр детальной информации о потоке добавлено описание полей Mirrors restore mode и Error handling mode, а также описание нового поля Status с возможными значениями.
Добавлены разделы Возобновление потока и Отмена потока.
В статье Запуск действий в ADBM:
Обновлены все рисунки начиная с раздела Backup.
В разделе Backup описан индикатор времени выполнения бэкапа.
В разделе Common restore обновлены значения поля Restore mirrors.
Актуализирована статья Известные проблемы ADBM.
В разделе Порты ADBM статьи Требования к сети исправлен номер порта для Service Registry (с 6568 на 6567).
В разделе Partial restore статьи Запуск действий в ADBM откорректировано описание поля Table name masks.
В статье Настройка и использование Kafka Tiered Storage:
Добавлен раздел Simple Storage Service (S3).
Откорректировано описание под рисунком Kafka Tiered Storage.
В статью Обзор KRaft добавлены разделы Алгоритм Raft и Управление метаданными.
В раздел Предварительные требования статьи Плагин Ranger NiFi добавлена информация о параметрах ranger.usersync.ldap.groupname.caseconversion и ranger.usersync.ldap.username.caseconversion.
Добавлены Release notes для релиза ADCM 2.5.1 от 26.02.2025.
Добавлена статья Интеграция Ozone с сервисами кластера.
В статье Подготовка хостов описана максимальная длина FQDN для хостов ADH. Эта информация также добавлена в документацию хостпровайдеров:
В статье Требования к программному обеспечению номера поддерживаемых версий CentOS и RHEL изменены на 7.9.
В раздел Активация шифрования для сервиса статьи Manage Credential Encryption добавлена информация про параметр Update jceks.
В статье Создание кластера актуализирован раздел Шаг 1. Загрузка бандла.
Добавлена статья Логирование в Knox.
В статье Подготовка хостов описана максимальная длина FQDN для хостов ADPS. Эта информация также добавлена в документацию хостпровайдеров:
В статье Программные требования номера поддерживаемых версий CentOS и RHEL изменены на 7.9.
В раздел Solr статьи Шифрование паролей добавлено примечание с информацией о том, как включать шифрование паролей для Solr.
В статье Подготовка хостов описана максимальная длина FQDN для хостов ADS. Эта информация также добавлена в документацию хостпровайдеров:
В статье Программные требования номера поддерживаемых версий CentOS и RHEL изменены на 7.9.
В статье Создание кластера актуализирован раздел Шаг 1. Загрузка бандла.
Добавлены новые статьи:
Обновлена статья Шифрование SSL (начиная с ADQM 22.8.6.71):
Указана минимальная версия openssl (1.1.1).
Пути во всех примерах изменены с /etc/clickhouse-server/ на /etc/clickhouse-server/certs/.
Добавлен шаг 6 в раздел Создание SSL-сертификатов.
В разделе Настройка ADQM для включения SSL обновлен рисунок.
В разделе Проверка соединения описана проверка соединения с ADQM по HTTPS.
В статье Конфигурационные параметры:
Для параметра ADQMDB → SSL → Client certificate verification mode обновлено значение по умолчанию (начиная с ADQM 23.3.2.37).
Исправлены опечатки.
В статье Создание кластера актуализирован раздел Шаг 1. Загрузка бандла.
Добавлены Release notes для релиза ADS 3.6.2.2.b2 от 06.02.2025.
Добавлено описание KRaft:
В статью Установка кластера добавлено примечание, что установка Kafka в режиме KRaft требует дополнительных шагов (со ссылкой на статью Установка Kafka в режиме KRaft)
Добавлено описание Kafka Tiered Storage:
Описаны новые параметры Kafka в статье Конфигурационные параметры ADS:
Host index matching
Kafka quorum solution
core-site config template
HDFS Tiered Storage
S3 Tiered Storage
Tiered Storage General
Параметры компонента Kafka Controller
Раздел Особенности установки Hive удален из статьи Установка кластера (начиная с ADH 3.3.6.1).
Учтены изменения в релизе ADH 3.3.6.2.b1 от 31.01.2025:
Описаны Release notes.
Актуализированы статьи Поддерживаемые сервисы и Матрица совместимости версий.
Добавлена информация о поддержке РЕД ОС 7.3 в статью Требования к программному обеспечению.
Описан сервис Trino:
Описание используемых портов в статье Сетевые порты ADH
Описание сервиса Trino в статье Добавление сервисов
Примеры распределения компонентов Trino в статье Добавление компонентов
Описание параметра TRINO_JAVA_HOME в статье Настройка кластера
Параметры Trino в статье Конфигурационные параметры
Описан сервис Ozone:
Описание используемых портов в статье Сетевые порты ADH
Описание сервиса Ozone в статье Добавление сервисов
Примеры распределения компонентов Ozone в статье Добавление компонентов
Параметры Ozone в статье Конфигурационные параметры
Описан сервис Core configuration:
Описание сервиса в статье Добавление сервисов
Параметры сервиса в статье Конфигурационные параметры
Описано действие Add/Remove components, а также удалена информация о замененных им действиях для сервисов:
В статье Сетевые порты ADH обновлен номер порта для компонента SSM Smart Agent.
Добавлены новые статьи по сервису HBase:
Добавлены новые статьи по сервису Solr:
Добавлены новые статьи по сервису Airflow:
Добавлена статья по сервису Zeppelin Логирование в Zeppelin.
Добавлена статья Аутентификация SPNEGO.
Добавлена статья Известные проблемы ADH.
Актуализирована статья Конфигурационные параметры.
В статье Настройка кластера откорректирована ссылка Рекомендации для пользовательских keytab-файлов.
Учтены изменения в релизе ADPS 1.2.1.b1 от 31.01.2025:
Добавлены Release notes.
Обновлена статья Поддерживаемые сервисы.
Добавлена информация о поддержке РЕД ОС 7.3 в статью Программные требования.
Добавлена информация о действии Add/Remove components для сервисов Knox и Solr.
Добавлены новые статьи:
В статье Настройка внешней БД PostgreSQL для хранения метаданных Ranger откорректирована информация о загрузке JDBC-драйвера.
Учтены изменения в релизе ADPG 16.3.2 от 16.01.2025:
Добавлены Release notes.
В статье Программные требования указана минимальная версия ADCM 2.3.0, а также добавлена информация о поддержке Сертифицированной редакции РЕД ОС 7.3.
Актуализирована статья Обновление кластера ADPG до новой версии:
Описана кнопка Stop the job.
Добавлено описание процесса мажорного обновления для кластера с двумя и более репликами.
Описана опция Run backup after upgrade.
Добавлено предупреждение о том, что изменять конфигурацию кластера между этапами мажорного апгрейда недопустимо.
В рамках статьи Конфигурационные параметры:
Добавлен раздел ADPG → Patroni ADPG tags.
Актуализирован раздел ADPG → ADPG configurations: описаны поля postgresql.conf и Custom postgresql.conf.
Из всех статей удалены упоминания сервисного действия Reconfigure & Reload, а также обновлены связанные с этим действием рисунки.
Из всех статей исключена информация о необходимости установки дополнительных пакетов для процедурных языков PL/Perl, PL/PerlU, PL/Python3U, PL/Tcl, PL/TclU.
В статье Обзор отказоустойчивости ADPG описана вкладка Info для сервиса ADPG.
Во всех статьях выполнено переименование параметра use_custom_location в use_custom_patroni_log_dir.
Актуализирована статья Известные проблемы ADPG.
Добавлены новые статьи:
Добавлены Release notes для версии хостпровайдера 3.12.
Учтены изменения в релизе ADCM 2.5.0 от 28.12.2024:
Добавлены Release notes.
В статью Concerns добавлен раздел Возможность параллельного запуска действий при помощи неблокирующих проблем.
В разделе Запуск action статьи Примеры использования ADCM API v2 описан параметр shouldBlockObject.
Добавлены новые статьи:
Учтены изменения в релизе ADB 6.27.1.59 от 27.12.2024:
Добавлены Release notes.
В статье Кластерные действия описано новое действие Move Host Segment.
Учтены изменения в релизе ADB Control 4.11.0 от 27.12.2024:
Добавлены Release notes.
В статье Шифрование SSL:
Добавлен раздел Внешние базы данных.
Обновлены рисунки и имена создаваемых по умолчанию сертификатов.
Секция параметров HTTPS parameters enable переименована в SSL.
Описано поле CA certificate.
Информация о настройке файла pg_hba.conf в случае использования SSL добавлена в следующие статьи:
Раздел Metrics offload статьи Настройка политик запуска задач.
В разделе ClickHouse статьи Настройка внешних БД для ADB Control добавлена информация про настройки в случае SSL-шифрования, а также обновлен рисунок.
Учтены изменения в релизе ADBM 2.3.2 от 27.12.2024:
Добавлены Release notes.
Компонент etcd удален с архитектурной схемы в статье Обзор Arenadata DB Backup Manager, его функции перенесены в PostgreSQL.
В статье Использование ADBM CLI для команды backup report описана опция --output, а пример использования разделен на две части: для текста и JSON.
В статье Запуск действий в ADBM:
Добавлен раздел Create configuration.
Перед описанием всех действий в разделе Типы действий добавлено примечание про вывод доступных действий в меню.
В конце раздела Partial restore добавлен третий пункт в блок ВНИМАНИЕ (про поле Table name masks).
В рамках раздела Добавление новой конфигурации статьи Управление конфигурациями в ADBM добавлено примечание к полю Workspace → Temporary directory.
В рамках статьи Disaster recovery добавлен третий пункт в первое примечание (про совместимость ОС).
В разделе Детали действия статьи Просмотр действий в ADBM обновлены рисунки.
В разделе Детали восстановления БД статьи Просмотр восстановлений БД в ADBM обновлены рисунки, а также описаны возможности сортировки, фильтрации и пагинации в таблице.
Актуализирована статья Известные проблемы ADBM.
Учтены изменения в релизе ADS 3.6.2.2.b1 от 27.12.2024:
Добавлены Release notes.
Актуализированы статьи Поддерживаемые сервисы ADS и Матрица совместимости версий.
Добавлена статья Online-установка → Установка мониторинга → Сервис мониторинга, описывающая новый сервис Monitoring на базе Prometheus. В разделе Offline-установка статья продублирована без изменений.
В разделах Online-установка → Установка мониторинга и Offline-установка → Установка мониторинга описаны два возможных способа настройки мониторинга ADS — с помощью нового сервиса мониторинга и по прежней схеме путем установки кластера мониторинга (либо кластера Enterprise Tools в случае offline-установки). Добавлена информация о том, что поддержка второго способа (при помощи отдельного кластера) приостановлена и в последующих релизах ADS будет прекращена.
Добавлена статья Обзор Debezium.
Добавлены новые статьи:
В статьи Действия в NiFi и Действия в кластере добавлено примечание с информацией о сообщениях FAILED - RETRYING на странице Jobs в ADCM.
Добавлены статьи:
В конец статьи Включение SSL-шифрования добавлена уточняющая информация о порядке применения конфигурационных настроек в ADCM.
В рамках статьи Использование ADBM CLI:
Для опции --database команды backup ls описан сокращенный алиас (shortcut) -d.
Для опции --dbname команды backup create описаны альтернативные алиасы --database и -d.
В разделе Порты ADB Control статьи Требования к сети:
Порт 5701 добавлен на вкладку ADB hosts.
На вкладке ADB Control host удалены сервисы Router и Web UI, а порт 81 перемещен в список портов UI Backend Server.
Компоненты Web UI и Router удалены с архитектурной схемы в статье Обзор Arenadata DB Control.
В описаниях метрик, связанных с виртуальной памятью (virtual memory), произведена замена слов consumption/потребление на allocation/выделение.
Исправлены опечатки в release notes ADB Control 4.10.3.
Статья Требования к инфраструктуре переименована в Программные требования. Также в нее внесены следующие изменения:
Добавлены рекомендации по версии ADCM.
Уточнены номера поддерживаемых версий для операционных систем CentOS и RHEL.
Описаны требования к сетевому маршруту по умолчанию.
В начало статьи добавлено примечание с информацией о поддержке CentOS.
В статьи с описанием подготовки хостов во время установки online и offline добавлена информация по проверке и настройке сетевого маршрута по умолчанию.
В статье Обновление кластера ADPG до новой версии расширено первое примечание и актуализирован раздел Обновление мажорной версии.
Расширен список известных проблем ADPG для версии 16.3.1.
Добавлены новые статьи:
В статье Программные требования номер поддерживаемой версии РЕД ОС изменен на 7.3 (предыдущее значение 7.3.2 было некорректно).
В статье Программные требования номер поддерживаемой версии РЕД ОС изменен на 7.3 (предыдущее значение 7.3.2 было некорректно).
В статье Программные требования номер поддерживаемой версии РЕД ОС изменен на 7.3 (предыдущее значение 7.3.2 было некорректно).
В статью Примеры использования ADCM API v2 добавлен раздел Выпуск токена доступа.
В статью ADCM API добавлена информация про токены доступа.
В статью Требования к установке добавлены отдельные инструкции для каждой из поддерживаемых операционных систем.
В разделе actions статьи Bundle DSL изменено описание параметра masking.
Удален раздел Установка → Online-установка.
Добавлена информация о поддержке Ubuntu 22.04.2 LTS в статью Программные требования.
Добавлены Release notes для версий хостпровайдера 3.8, 3.9, 3.10, 3.11.
Описаны изменения, доступные начиная с версии хостпровайдера 3.8:
В статье Создание хостов с помощью хостпровайдера Yandex Cloud описано поле Boot disk name.
В статье Создание хостов с помощью хостпровайдера Yandex Cloud и разделе Операции с хостпровайдером Yandex Cloud → Create hosts описан параметр name для поля Additional disks (JSON), а также обновлен пример заполнения этого поля.
Добавлены Release notes для версии хостпровайдера 1.4.
Учтены изменения в релизе ADB 6.27.1.58 от 14.11.2024:
Добавлены Release notes.
В статье Программные требования:
Добавлена информация о поддержке RED OS.
Описаны минимальные версии ADCM и хостпровайдера Yandex.
Минимальная версия PostgreSQL изменена с 12.7 до 12.20.
Добавлена информация про опцию Use existing docker (см. пункт 3).
Обновлены требования к Java (см. пункт 4):
Требуемая версия Java изменена с 11 до 17.
Описаны специфичные требования для CentOS/Astra Linux.
Перечислены пути к Java, используемые по умолчанию в других операционных системах.
В статье Настройка кластера:
В разделе Vault integration описано поле Mount point for ADB cluster secrets.
Обновлено описание опций Use custom JAVA_HOME for cluster и Use existing docker.
В статье Конфигурационные параметры добавлены новые секции для сервиса ADB:
Interconnect properties
ADB ident server
ADB GPperfmon Extension
В статье Использование плагина ADB DDBoost из примеров удалена опция --on-error-continue.
Актуализирована статья Известные проблемы ADB.
Учтены изменения в релизе ADB Control 4.10.3 от 14.11.2024:
Добавлены Release notes.
Обновлены все рисунки в статье Dashboard.
В статье Мониторинг команд:
В описании секции Overview добавлен рисунок Ошибка в выполнении команды.
В разделе Секции с планом выполнения:
Описаны возможные статусы узлов плана.
Добавлен рисунок, показывающий вид секции Plan & progress в случае ошибок в выполнении команды.
В статье Аутентификация с использованием LDAP:
Описано поле Internal CA certificate in PEM format (optional).
Переименованы следующие поля: URI → LDAP URI, Type → LDAP type.
Изменено описание поля LDAP URI.
Обновлен рисунок.
Добавлена информация об LDAPS.
Для сервиса ADB Control в статье Конфигурационные параметры:
Описана секция Use dedicated network.
Актуализирована секция UI LDAP authentication.
В секции HTTPS parameters enable расширено описание поля Verify system endpoints' certificates.
В следующие статьи добавлена информация о логическом кластере adcc_cluster:
Конфигурационные параметры (ADB Control → External ADQM parameters)
Актулизирована статья Шифрование SSL.
Актуализирована статья Известные проблемы ADB Control.
Учтены изменения в релизе ADBM 2.2.3 от 14.11.2024:
Добавлены Release notes.
Описана новая секция Workspace в статье Управление конфигурациями в ADBM.
В статье Запуск действий в ADBM:
Описано действие Partial restore.
Действие Restore переименовано в Common restore.
Обновлены все рисунки.
В статье Просмотр восстановлений БД в ADBM:
Обновлены все рисунки.
Описан тип восстановления Table-restore.
Описаны параметры, доступные для действия Partial restore.
В статье Управление конфигурациями в ADBM:
Обновлены все рисунки.
В разделе General configuration описано поле Total number of backups и расширено описание Repository path.
В разделе Compression актуализировано значение по умолчанию, а также удален 0 из возможных значений.
В статье Запуск действий в ADBM:
Добавлено примечание с информацией об условиях доступности действия Create restore point.
Упомянут статус бэкапов Unknown в описании действия Verify.
В статье Просмотр бэкапов в ADBM:
Обновлены все рисунки.
Добавлена схема Backup statuses.
В статье Просмотр восстановлений БД в ADBM описан статус восстановления Stopped.
В статье Просмотр действий в ADBM:
Обновлены все рисунки.
Поля Start time/Start date и End time/End date переименованы в Start time и End time соответственно.
Актуализировано описание секции End Results.
Актуализирована статья Известные проблемы ADBM.
Учтены изменения в релизе ADH 3.3.6.1.b1 от 30.10.2024:
Описаны Release notes.
Актуализированы статьи Поддерживаемые сервисы и Матрица совместимости версий.
Описано кластерное действие Manage Credential Encryption.
Актуализированы описания интерфейса SSM в существующих статьях:
Добавлены статьи по сервису SSM:
Добавлена статья Аутентификация SPNEGO в HUE.
Добавлена информация о поддержке Ubuntu 22.04.2 LTS в статью Требования к программному обеспечению.
Для сервисов Hive, Spark, Spark3, YARN описано сервисное действие Add/Remove components, объединившее ряд ранее существовавших действий.
Для сервиса YARN описано действие Decommiss/Recommiss NodeManagers.
В рамках статьи Конфигурационные параметры:
Добавлено описание параметров security.ssl.internal.*, а также актуализированы параметры taskmanager* и jobmanager* для сервиса Flink.
Обновлено описание параметров вида classpath для сервисов Flink, HBase, Hive, Kyuubi, YARN: указано, что теперь это списки с возможностью добавления элементов через UI ADCM.
Добавлена секция Custom log4j.properties и описан параметр spark.sql.security.confblacklist для сервисов Spark и Spark3.
Добавлена секция Credential encryption для сервисов HBase, HDFS, Hive, Impala, Solr, Spark, Spark 3, Zeppelin.
Актуализировано описание параметров в секциях mapred-env.sh и yarn-env.sh для сервиса YARN.
Добавлены параметры nginx_http_port, nginx_https_port в секцию nginx.conf для сервиса Hive.
Описаны новые параметры сервиса SSM.
Актуализированы прочие параметры всех сервисов.
Добавлены статьи по сервису HBase:
Добавлены статьи по сервису Airflow:
Добавлены статьи по сервису Solr:
В статью Примеры использования ADB Spark 3 Connector добавлены примеры для PySpark.
В статье Подключение к Impala через JDBC актуализирована вкладка с примерами строк подключения.
В статье Настройка кластера добавлены детали настройки конфиг-групп в рамках раздела Configuration groups.
Учтены изменения в релизе ADPS 1.2.0.b1 от 30.10.2024:
Добавлены Release notes.
Обновлена статья Поддерживаемые сервисы.
Актуализированы описания Ranger UI во всех статьях.
Описаны настройки логирования для компонента Knox Gateway в разделе Knox статьи Конфигурационные параметры.
Добавлены новые статьи:
Актуализированы параметры всех сервисов в статье Конфигурационные параметры.
Учтены изменения в релизе ADCM 2.4.0 от 24.10.2024:
Добавлены Release notes.
Добавлены новые статьи:
В статье Установка откорректирован пример создания контейнера с переменными окружения, а также описаны новые переменные окружения:
STATUS_LOG_LEVEL
ADCM_LOG_LEVEL
AUDIT_LOG_LEVEL
LDAP_LOG_LEVEL
BACKGROUND_TASKS_LOG_LEVEL
TASK_RUNNER_LOG_LEVEL
Учтены изменения в релизе ADS Control 2.3.0.b1 от 25.10.2024:
Добавлены Release notes.
Добавлена статья Работа с группами потребителей в ADS Control.
В статью Работа с топиками в ADS Control добавлены следующие разделы:
Добавлен раздел Advanced docker settings в статью Конфигурационные параметры ADS Control.
В статье Установка кластера:
Добавлен раздел Prerequisites.
Удалены описания параметров Install OpenJDK и Set service checks.
Учтены изменения в релизе ADPG 16.3.1 от 17.10.2024:
Добавлены Release notes.
Добавлена статья Обновление кластера ADPG до новой версии.
Обновлена статья Переключение с лидера на реплику в ADPG:
Добавлена команда sudo su - postgres.
Исключено слово sudo из последующих команд.
Произведена замена пути /etc/patroni/patroni.yml на /etc/adpg16-patroni/adpg16-patroni.yml.
Удалена информация о действии Run SQL для сервиса ADPG.
В статье Настройка кластера обновлен рисунок и описаны репозитории Ubuntu 22.04.
В статью Требования к инфраструктуре добавлена информация о поддержке Ubuntu 22.04 и рекомендация использовать ADCM 2.1.2 или выше.
В разделе Кластер etcd статьи Обзор отказоустойчивости ADPG описана дефрагментация.
Во всех путях произведена замена adpg14 на adpg16, а также применены иные необходимые обновления.
Во всех ссылках на документацию PostgreSQL проведена замена номера версии 14 на 16.
Учтены изменения в релизе ADPG 14.3.8 от 17.10.2024:
Добавлены Release notes.
Сервисные действия Enable maintenance mode и Disable maintenance mode переименованы в Pause Cluster и Resume Cluster соответственно.
В статье Поддерживаемые расширения:
Удалены следующие расширения: hstore_plperl, hstore_plperlu, jsonb_plperl, jsonb_plperlu.
Обновлена версия расширения timescaledb.
Описаны следующие расширения: plperl, plperlu, plpython3u, pltcl, pltclu.
Добавлено примечание с информацией об установке дополнительных пакетов для процедурных языков.
В статье Настройка кластера обновлен рисунок и описан параметр Cluster UUID (см. Primary configuration → Основные конфигурационные параметры).
Добавлены новые статьи:
Исправлена опечатка на рисунке в статье Балансировка нагрузки.
Учтены изменения в релизе ADQM 24.3.11.7.1.b1 от 17.10.2024:
Добавлены Release notes.
В статье Rolling upgrade расширено первое примечание, а также обновлено описание действия Abort the upgrade.
Добавлена статья Пользовательские функции и таблицы Executable.
В статье Чтение данных Hive из ADQM исправлен пример создания тестовой таблицы: требовались обратные апострофы для ключевого слова date.
Обновлена статья Примеры использования ADCM API v2:
Актуализированы все параметры.
Изменены некоторые примеры.
Добавлена подсветка во все сниппеты с кодом.
Актуализирована статья Backup & Restore.
Добавлены несколько рекомендаций в первый блок с примечаниями в статье Обновление.
В статье Использование kafka-rest-security:
Перечислены настраиваемые в JAAS-файле методы аутентификации, которые можно использовать с модулем kafka-rest-security.
Описаны особенности включения mTLS-аутентификации.
В статье Настройка кластера:
Секция параметров Timeout to unlock package manager переименована в Reliability control.
Описан параметр timeout в секции Reliability control.
Изменены значения по умолчанию для параметров retries и delay в секции Reliability control.
В статье Конфигурационные параметры ADS параметры Add key,value переименованы в Add key, value.
Учтены изменения в релизе ADS 3.6.2.1.b1 от 26.09.2024:
Добавлены Release notes.
Обновлены версии сервисов в списке поддерживаемых сервисов ADS.
Информация о релизе добавлена в матрицу совместимости версий.
Добавлена статья Использование kafka-rest-security.
Актуализирована статья Конфигурационные параметры ADS: для сервиса Kafka изменено размещение параметров server.properties.
В статье Программные требования описаны требования к Java.
В статье Настройка кластера описана группа параметров Custom JDK settings.
Обновлена статья Аппаратные требования к сети: добавлены порты для кластера мониторинга, а также перестроена таблица используемых портов — с разделением по продуктам.
Добавлена статья Релизы ADB 7.
Расширена статья Релизы ADB 5.
Документация по ADS Control перемещена в отдельный репозиторий и теперь доступна по ссылке: Arenadata Streaming Control. Эта ссылка отображается также на лэндинге ADS в разделе Смежные продукты (см. кнопку Читать документацию).
Актулизирована статья Конфигурационные параметры ADS Control:
Добавлены разделы Kafka Settings и JAAS template file.
Обновлены разделы Kafka Clusters и Basic authentication.
В связи с перемещением документации Arenadata Streaming Control (ADS Control) в отдельный репозиторий, статьи по ADS Control удалены из документации ADS.
Актулизирована статья Конфигурационные параметры ADS:
Добавлено описание шаблонов.
Добавлена группа параметров log4j advanced properties configuration для компонента Kafka Broker сервиса Kafka.
Добавлены параметры в группу application.conf сервиса Kafka-Manager.
Добавлены параметры Ranger plugin enabled (Kafka, NiFi) и Set service checks (NiFi, MiNiFi).
Учтены изменения в релизе ADCM 2.3.0 от 05.09.2024:
Добавлены Release notes.
Добавлена статья Настройка групп хостов для действий.
В статью Примеры использования ADCM API v2 добавлены разделы:
Внесены следующие исправления:
В секцию adcm_hc статьи Модули и плагины Ansible внесено дополнение про компоненты.
В секции Список сервисов статьи Примеры использования ADCM API v2 адрес /api/v2/services заменен на корректный /api/v2/clusters.
В статью Требования к установке добавлена информация про поддержку РЕД ОС 7.3.2.
Добавлены следующие статьи:
В статью Действия с кластером добавлено примечание с информацией про rolling upgrade.
В статью Обзор ADB ClickHouse Connector добавлена диаграмма Схема выполнения запроса SELECT.
Учтены изменения в релизе ADB 6.27.1.57 от 29.08.2024:
Добавлены Release notes.
В статье Настройка кластера описаны параметры секции Vault integration, а также обновлен последний рисунок.
В статье Кластерные действия обновлены первые два рисунка и добавлено описание действия Reconfigure Vault integration.
Актуализирована статья Известные проблемы ADB.
В статью Программные требования добавлена информация о необходимой версии Docker для CentOS (см. пункт 3).
Добавлена статья Учетные записи, используемые в ADB.
Учтены изменения для релиза ADB Control 4.9.1 от 29.08.2024:
Добавлены Release notes.
Обновлена статья Dashboard.
В статье Мониторинг сессий обновлены все рисунки, а также добавлено описание новых табличных полей: Resource group, Waiting for session, Waiting reason.
В статье Работа с ресурсными группами раздел Commands переименован в Commands → Running, а также добавлен раздел Commands → Queueing.
В разделе Performance статьи Мониторинг команд обновлены рисунки и добавлена информация про фильтры и сортировку в таблице с данными по сегментам.
Актуализирована статья Известные проблемы ADB Control.
Учтены изменения в релизе ADBM 2.1.2 от 29.08.2024:
Добавлены Release notes.
В статье Управление конфигурациями в ADBM в рамках выпадающего списка Repository обновлен рисунок и добавлены два новых поля: Upload chunk size и Certificate verification.
В статью Просмотр бэкапов в ADBM добавлено описание новой секции Statuses.
В статью Запуск действий в ADBM добавлено примечание о том, что действие Resume доступно для full-бэкапов.
Добавлены новые статьи:
В статью Мониторинг добавлена вторая схема (Мониторинг ADPG c Metrics storage того же кластера).
Актуализирована статья Работа с расширениями.
Добавлено примечание про действие Backup: Restore cluster в статьи Backup: Restore cluster и Резервное копирование и восстановление с использованием pgBackRest.
В статье Настройка кластера обновлен последний рисунок, а также добавлены подразделы: Configuration groups и Ansible settings.
В статье Добавление компонентов описан режим Hosts mode, позволяющий распределять компоненты по хостам.
В руководстве по установке вместо всех статей, касающихся хостпровайдеров, оставлена одна статья Подготовка хостов, которая содержит ссылки на подробную документацию каждого хостпровайдера.
Добавлены новые статьи:
В статье Настройка кластера обновлен последний рисунок, актуализированы параметры, а также добавлены подразделы: Configuration groups и Ansible settings.
В статье Добавление компонентов описан режим Hosts mode, позволяющий распределять компоненты по хостам.
В руководстве по установке вместо всех статей, касающихся хостпровайдеров, оставлена одна статья Подготовка хостов, которая содержит ссылки на подробную документацию каждого хостпровайдера.
В статью Действия в кластере добавлена информация про действия Manage Kerberos и Manage SSL.
Обновлена статья Обзор работы Sqoop.
Добавлена статья Использование фильтров в HBase.
В статье Настройка кластера обновлен последний рисунок, актуализированы параметры, а также добавлены подразделы: Configuration groups и Ansible settings.
В статье Добавление компонентов описан режим Hosts mode, позволяющий распределять компоненты по хостам.
В руководстве по установке вместо всех статей, касающихся хостпровайдеров, оставлена одна статья Подготовка хостов, которая содержит ссылки на подробную документацию каждого хостпровайдера.
В статье Настройка кластера обновлен последний рисунок, актуализированы параметры, а также добавлены подразделы: Configuration groups и Ansible settings.
В статье Добавление компонентов описан режим Hosts mode, позволяющий распределять компоненты по хостам.
В руководстве по установке вместо всех статей, касающихся хостпровайдеров, оставлена одна статья Подготовка хостов, которая содержит ссылки на подробную документацию каждого хостпровайдера.
В статью Настройка кластера добавлены подразделы: Configuration groups и Ansible settings.
В статье Добавление компонентов описан режим Hosts mode, позволяющий распределять компоненты по хостам.
В руководстве по установке вместо всех статей, касающихся хостпровайдеров, оставлена одна статья Подготовка хостов, которая содержит ссылки на подробную документацию каждого хостпровайдера.
В статье Добавление компонентов описан режим Hosts mode, позволяющий распределять компоненты по хостам.
В руководстве по установке вместо всех статей, касающихся хостпровайдеров, оставлена одна статья Подготовка хостов, которая содержит ссылки на подробную документацию каждого хостпровайдера.
В статье Создание хостов с помощью хостпровайдера Yandex Cloud добавлена информация о продуктах, для которых требуется ввод FQDN при создании хостов в ADCM.
В статье Операции с хостпровайдером Yandex Cloud для действия Create hosts добавлено примечание о том, что действие не подходит для продуктов, требуюших ввода FQDN при создании хостов в ADCM.
В статье Создание хостов с помощью хостпровайдера SSH добавлена информация о продуктах, для которых требуется ввод FQDN при создании хостов в ADCM.
В статье Создание хостов с помощью хостпровайдера VCloud (VMware) добавлена информация о продуктах, для которых требуется ввод FQDN при создании хостов в ADCM.
В статье Создание хостов с помощью хостпровайдера Cloud.ru Advanced добавлена информация о продуктах, для которых требуется ввод FQDN при создании хостов в ADCM.
В статье Операции с хостпровайдером Cloud.ru Advanced:
Для действия Create hosts добавлено примечание о том, что действие не подходит для продуктов, требуюших ввода FQDN при создании хостов в ADCM.
Для действия Create hosts изменено описание параметра FQDN.
В статье Создание хостов с помощью хостпровайдера облака КРОК добавлена информация о продуктах, для которых требуется ввод FQDN при создании хостов в ADCM.
В статье Операции с хостпровайдером облака КРОК:
Для действия Create hosts добавлено примечание о том, что действие не подходит для продуктов, требуюших ввода FQDN при создании хостов в ADCM.
Для действия Create hosts изменено описание параметра FQDN.
Учтены изменения в релизе ADQM 24.3.2.23.2.b1 от 02.08.2024:
Добавлены Release notes.
В статью Программные требования добавлена информация про поддержку Ubuntu 22.04.
В разделе ADQMDB → LDAP статьи Конфигурационные параметры обновлены имена параметров, а также добавлены новые параметры name, rbac_scope.
Актуализирована статья Аутентификация с использованием LDAP.
В статье Настройка кластера изменена структура описания параметров кластера, добавлено описание параметра Custom JRE.
Добавлены новые статьи:
Учтены изменения в релизе ADB 6.27.1.56:
В статью Инструментарий arenadata_toolkit добавлено описание view adb_hba_file_rules_view.
В статье Настройка кластера добавлено описание репозиториев Ubuntu и параметра Timeout to unlock package manager.
В статье Настройка сервисов актуализирован последний рисунок в связи с изменением параметров Advanced.
В разделе Expand → Запуск действия статьи Кластерные действия актуализирован первый рисунок в связи с изменением параметров Advanced.
В файл, приведенный в статье Установка ADB to Kafka Connector, добавлены поля KEYSTORE_LOCATION и KEYSTORE_PASSWORD.
В рамках статьи Настройка ADB to Kafka Connector:
Список Опции JAAS при использовании SASL-механизма PLAIN переименован в Опции JAAS при использовании SASL-механизма PLAIN, SCRAM-SHA-256 или SCRAM-SHA-512.
В рамках списка Опции Kafka добавлены возможные значения для следующих параметров: SECURITY_PROTOCOL — SSL, SASL_MECHANISM — SCRAM-SHA-256 и SCRAM-SHA-512.
В раздел JAAS_CONFIG_FILE добавлен пример файла для SASL_MECHANISM = SCRAM-SHA-256|SCRAM-SHA-512.
В разделе Использование опции SERVER в рамках выпадающего списка Параметры kafka-site.xml добавлены параметры kafka.property.ssl.keystore.location и kafka.property.ssl.keystore.password.
Добавлен новый раздел Кастомная настройка используемого механизма аутентификации SASL.
В раздел Требования для Astra Linux статьи Программные требования добавлена рекомендация про использование generic-ядер.
Обновлена статья Известные проблемы ADB (см. первую строку таблицы).
В статью Конфигурационные параметры добавлен раздел ADB → SSL.
В статье Настройка кластера обновлен последний рисунок, а также добавлены подразделы Configuration groups и Ansible settings.
В статье Настройка ADCM для использования внешней базы данных исправлены кавычки в примере заполнения DB_OPTIONS.
Учтены изменения в релизе ADBM 2.0.4:
Добавлено описание ADBM CLI.
В раздел Добавление новой конфигурации → General configuration статьи Управление конфигурациями в ADBM добавлено описание поля Use block incremental backup.
Учтены изменения в релизе ADH 3.2.4.3.b1 от 23.07.2024:
Описаны Release notes.
Актуализированы статьи Поддерживаемые сервисы и Матрица совместимости версий.
Добавлено описание сервиса HUE:
Описание используемых портов в статье Сетевые порты ADH
Описание сервиса HUE в статьях Добавление сервисов и Архитектура ADH
Примеры распределения компонентов HUE в статье Добавление компонентов
Параметры HUE в статье Конфигурационные параметры
Описана работа с Iceberg-таблицами:
Добавлены статьи по LDAP-аутентификации:
Добавлена статья Настройка использования Samba для Kerberos-аутентификации с помощью ADCM.
Добавлена статья Плагин Ranger Spark3.
Описано кластерное действие Manage SSL, заменившее Enable SSL/Disable SSL.
Добавлены статьи по сервису Hive:
Добавлены статьи по сервису Solr:
Добавлены статьи по сервису Sqoop:
Добавлены статьи по MapReduce:
Добавлена статья по сервису YARN Настройка и использование GPU в YARN.
В статью Конфигурационные параметры добавлено примечание про заполнение параметров в секции Custom.
Учтены изменения в релизе ADPS 1.1.2.b1 от 23.07.2024:
Описаны Release notes.
Добавлена статья Настройка использования Samba для Kerberos-аутентификации с помощью ADCM.
Описано кластерное действие Manage SSL, заменившее Enable SSL/Disable SSL.
Добавлена статья Настройка Ranger KMS HA.
Добавлены концептуальные статьи:
В статью Конфигурационные параметры добавлено примечание про заполнение параметров в секции Custom.
Учтены изменения для релиза ADB Control 4.8.8:
Описана новая роль ADBM Administrator в статье Авторизация.
Актуализирована статья Управление кластерами в связи с переносом части функционала страницы Configuration → Clusters в отдельную форму.
В разделе Структура выгружаемых данных статьи Настройка политик запуска задач описана таблица relation_statistic.
В статьях Мониторинг команд и Мониторинг транзакций изменено описание метрики CPU avg usage %.
В статье Конфигурационные параметры:
В разделе ADB Control → External ADQM parameters описана возможность использования кластеризованного ClickHouse.
В разделе ADB Control → External ADB Control server parameters добавлено поле External ADB Control port, изменено название параметра ADB Control address.
Из раздела ADB Control → HTTPS parameters enable удалено поле Listening port.
В статьях Настройка внешних БД для ADB Control и Настройка внешней БД для ADBM первый шаг инструкций разделен на два, обновлены запросы, добавлено примечание про пользователя с правами superuser.
В статьях Настройка политик безопасности, Общие настройки и Настройка политик запуска задач обновлены рисунки и наименования некоторых элементов управления.
Учтены изменения в релизе ADS 3.3.2.2.b1 от 08.07.2024:
Добавлены Release notes.
Обновлены версии NiFi, MiNiFi в списке поддерживаемых сервисов ADS.
Информация о релизе добавлена в матрицу совместимости версий.
Описание нового действия Manage SSL добавлено вместо действий Enable SSL/Disable SSL в следующие статьи:
Актуализировано описание действия Manage Ranger plugin для Kafka и NiFi. Добавлено описание поля Override service policies, даны ссылки на смежные статьи в ADPS, обновлены скриншоты действий в ADCM, а также скриншоты самого Ranger в следующих статьях:
В статью Действия в кластере добавлено описание действия Restart, а также опции Apply configs from ADCM для действий Start и Restart.
Добавлены новые статьи:
В статью Аппаратные требования к сети добавлено описание порта 443.
Учтены изменения в релизе ADS Control 2.2.0.b1 от 27.06.2024:
Добавлены Release notes.
Описаны изменения пользовательского интерфейса:
Учтены изменения в релизе ADCM 2.2.0 от 05.07.2024:
Добавлены Release notes.
В статью Bundle DSL добавлено описание параметра flag_autogeneration. Описание allow_flags исключено.
В статье Concerns расширено описание флагов.
В секцию config статьи Bundle DSL добавлено описание свойства pattern параметров конфигурации.
Описана возможность SSL-подключения к внешней базе данных:
В статье Установка описана переменная окружения DB_OPTIONS.
В статье Настройка ADCM для использования внешней базы данных описаны параметры, доступные для использования в DB_OPTIONS, а также приведен пример заполнения в формате JSON.
В статье Настройка обновлен скриншот и исключена секция Ansible settings.
В статью Экосистема Ansible добавлен комментарий про файл ansible.cfg.
В статью Требования к установке добавлена информация об Ubuntu 22.04.
Добавлена статья Структура inventory-файла Ansible.
В следующие статьи добавлена информация о том, что начиная с версии 2.0.0 использование latest не поддерживается:
Внесены следующие исправления:
В статье Bundle DSL проведена замена bundle_downgrade на bundle_revert.
В статье Модули и плагины Ansible:
В секции adcm_change_flag обновлен пример.
В секции adcm_state внесено дополнение про компоненты и исправлена информация про обязательность опций.
В секцию adcm_add_host_to_cluster внесено дополнение про компоненты.
Добавлены Release notes для релиза ADB 6.27.1.56.
Добавлены Release notes для релиза ADB Control 4.8.8.
Актуализирован список известных проблем ADB Control и обходных решений для них.
Добавлены Release notes для релиза ADBM 2.0.4.
Актуализирован список известных проблем ADBM и обходных решений для них.
Добавлены новые статьи:
В статье Программные требования актуализирована информация о версиях Astra Linux, поддерживаемых начиная с ADB 6.26.2.55.
Добавлены Release notes для релиза ADCM 2.1.2 от 20.05.2024.
Учтены изменения в релизе ADPG 14.3.7 от 13.05.2024:
Описаны Release notes.
Добавлены статьи:
Резервное копирование и восстановление с использованием pgBackRest
Описание сервисных действий:
В статью Конфигурационные параметры добавлена секция ADPG → Enable backups.
Добавлены новые статьи:
Учтены изменения в релизах ADH от 27.04.2024:
Описаны Release notes: 3.2.4.2.b2, 3.2.4.1.b3.
Добавлена статья Настройка пользовательской Java.
Добавлена статья Логирование в YARN.
Учтены изменения в релизах ADPS от 27.04.2024:
Добавлена статья Настройка пользовательской Java.
Добавлены статьи по сервису Ranger:
Настройка внешней БД для хранения метаданных Ranger:
Учтены изменения в релизе ADQM 24.3.2.23.1.b1 от 25.04.2024:
Добавлены Release notes.
Добавлено описание параметров bind_dn, User base DN, User search filter, Group base DN, Group search filter в следующие статьи:
Конфигурационные параметры (ADQMDB → LDAP)
Проведена замена действия Enable Kerberos на Manage Kerberos на рисунках и в текстах следующих статей:
Описание параметра asynchronous_insert_log добавлено в таблицу Типы логов в ADQM статьи Логирование и в секцию ADQMDB → Log settings статьи Конфигурационные параметры.
Добавлены новые статьи:
Учтены изменения в релизе ADBM 1.7.3 от 11.04.2024:
Добавлена статья Настройка внешней БД для ADBM. Ссылка на нее размещена в статьях Обзор Arenadata DB Backup Manager и Настройка сервисов.
В статью Управление конфигурациями в ADBM добавлено описание статуса конфигурации Verified.
В статье Disaster recovery:
Описан новый тип восстановления Streaming.
Исключено описание ручного запуска stream.
Описана новая вкладка Backup Manager → Copy → History.
Добавлено описание секции Restore points для окна с детальной информацией о stream.
Добавлено описание поля Replication lag, доступного для stream с типом Streaming в статусе Streaming на вкладке Backup Manager → Copy → Streams и в окне с детальной информацией о stream.
Описано действие Terminate.
Обновлены все рисунки.
В статью Просмотр восстановлений БД в ADBM добавлено описание типа восстановления Streaming.
В статье Конфигурационные параметры:
Актуализирована секция с параметрами ADBM → External database parameters.
Исключена секция Database parameters.
Добавлено описание параметра Xmx ram parameter GB в секцию Database migration parameters.
В статью Управление конфигурациями в ADBM добавлено примечание про сохранение конфигурации.
Учтены изменения для релиза ADB Control 4.7.5 от 11.04.2024:
Добавлена статья Настройка внешних БД для ADB Control. Ссылка на нее размещена в статьях Обзор Arenadata DB Control и Настройка сервисов.
Описано тегирование запросов:
Добавлена статья Работа с тегами запросов.
Столбец Tags описан в статьях Мониторинг команд, Мониторинг транзакций, Мониторинг сессий.
Описано поле tags для таблиц query и transaction в разделе Metrics offload → Структура выгружаемых данных статьи Настройка политик запуска задач.
Актуализировано описание секции с планом запроса в статье Мониторинг команд.
В статью Управление кластерами добавлен раздел про настройку GUC.
В статью Авторизация добавлен раздел про актуализацию имен LDAP-групп.
Описана работа с сессиями пользователей ADB Control:
Добавлена статья Сессии пользователей.
В статью Авторизация добавлено описание права Manage user sessions.
В раздел Operations статьи Аудит добавлено описание столбца Session.
Описано поле session для таблицы audit_operation в разделе Metrics offload → Структура выгружаемых данных статьи Настройка политик запуска задач.
В статье Настройка политик безопасности описана новая настройка User session timeout.
Описана новая настройка Planchecker service в статье Общие настройки.
В статье Просмотр jobs обновлены все рисунки, а также исключено описание столбца Status для вкладок Jobs → Monitoring → Schedule и Jobs → Backup manager → Schedule.
В статье Конфигурационные параметры:
Актуализированы секции с параметрами ADB Control → Database parameters, ADB Control → External database parameters, ADB Control → ADQM database parameters, ADB Control → External ADQM parameters.
Добавлено описание параметра Service password в секцию ADB Control → UI component parameters.
В раздел Metrics offload → Структура выгружаемых данных статьи Настройка политик запуска задач добавлен комментарий про выбор БД.
В раздел Подключение нового кластера статьи Управление кластерами добавлено примечание про обновление.
Учтены изменения в релизе ADB 6.26.2.55 от 11.04.2024:
В разделе Redistribute → Запуск перераспределения статьи Кластерные действия:
Добавлено описание нового поля Number of parallel processes.
Обновлен скриншот окна с параметрами.
В статье Конфигурационные параметры для сервиса PXF:
Исключена опция Force Enable Monitoring.
Добавлены опции Use custom PXF_BASE и PXF_BASE.
Для опции JAVA_HOME оставлен один дефолтный путь к Java /usr/lib/jvm/jre-11-openjdk (общий для всех операционных систем).
В статье Настройка кластера:
В рамках группы опций Use custom registry добавлено поле prefix, изменено описание поля registry.
Для опции Use custom JAVA_HOME for cluster оставлен один дефолтный путь к Java /usr/lib/jvm/jre-11-openjdk (общий для всех операционных систем).
В пункте 4 статьи Программные требования:
Исключена Java 8 из поддерживаемых версий, оставлена только Java 11.
Оставлен один дефолтный путь к Java /usr/lib/jvm/jre-11-openjdk (общий для всех операционных систем).
В статью Инструментарий arenadata_toolkit добавлено описание нового поля tablespace_location для таблиц db_files_current и db_files_history.
В статью Установка Tkhemali Connector 1.X добавлена информация о максимальной поддерживаемой версии ClickHouse/ADQM.
Изменен внешний вид домашней страницы документации ADPG. Вместо полного списка статей (который по-прежнему доступен в левом навигационном меню) теперь выводятся 10 статей, оказавшихся наиболее популярными среди читателей за прошедший месяц.
Изменен внешний вид домашней страницы документации ADCM. Вместо полного списка статей (который по-прежнему доступен в левом навигационном меню) теперь выводятся 10 статей, оказавшихся наиболее популярными среди читателей за прошедший месяц.
Изменен внешний вид домашней страницы документации ADQM. Вместо полного списка статей (который по-прежнему доступен в левом навигационном меню) теперь выводятся 10 статей, оказавшихся наиболее популярными среди читателей за прошедший месяц.
Изменен внешний вид домашней страницы документации ADS. Вместо полного списка статей (который по-прежнему доступен в левом навигационном меню) теперь выводятся 10 статей, оказавшихся наиболее популярными среди читателей за прошедший месяц.
Изменен внешний вид домашней страницы документации ADH. Вместо полного списка статей (который по-прежнему доступен в левом навигационном меню) теперь выводятся 10 статей, оказавшихся наиболее популярными среди читателей за прошедший месяц.
Изменен внешний вид домашней страницы документации ADPS. Вместо полного списка статей (который по-прежнему доступен в левом навигационном меню) теперь выводятся 10 статей, оказавшихся наиболее популярными среди читателей за прошедший месяц.
Выпущена первая версия документации по ADB Cloud Bundle, включающая следующие статьи:
Ссылка на документацию доступна в разделе Хостпровайдеры на лэндинге ADCM.
Добавлены Release notes для релиза ADCM 2.1.1 от 11.04.2024.
Учтены изменения в релизе ADS 3.3.2.1.b1 от 11.04.2024:
Добавлены Release notes.
Актуализированы номера версий в статье Поддерживаемые сервисы ADS.
В статье Действия в кластере описано новое действие Manage Kerberos, а замененные им действия Enable Kerberos и Disable Kerberos исключены.
Добавлена статья Custom kerberization settings. Ее упоминание добавлено в другие статьи на тему Kerberos-аутентификации.
В статью MIT Kerberos добавлен раздел Настройка пользовательского jaas.conf.
В статью Конфигурационные параметры ADS добавлена секция Kafka → JMX auth.
Добавлены статьи:
В раздел Обновление кластера статьи Действия в кластере добавлено примечание про файлы конфигураций.
В статью Установка кластера добавлено примечание про установку на "чистые" хосты без предустановленного подобного ПО.
Добавлены Release notes для релиза ADB 6.26.2.55.
Добавлена статья Кластерные действия.
Расширен список известных проблем ADB и обходных решений для них (см. версию 6.12.1.11).
Добавлены Release notes для релиза ADB Control 4.7.5.
Добавлены Release notes для релиза ADBM 1.7.3.
Расширен список известных проблем ADBM и обходных решений для них (см. версию 1.7.0).
Учтены изменения в релизе ADH 3.2.4.2.b1 от 27.03.2024:
Добавлены Release notes.
Актуализированы номера версий в статье Поддерживаемые сервисы.
Обновлена статья Матрица совместимости версий.
Добавлено описание сервиса Smart Storage Manager (SSM):
Добавлено описание сервиса Kyuubi:
Добавлено описание компонента Spark Connect:
Действия с компонентом Spark Connect (см. Add Spark3 Connect и Remove Spark3 Connect)
Конфигурационные параметры (см. spark.connect.grpc.binding.port)
В статье Добавление сервисов описаны сервисы SSM и Kyuubi.
В статью Добавление компонентов добавлены примеры распределения компонентов по хостам для сервисов SSM и Kyuubi.
В статье Архитектура ADH актуализирована вторая схема и ее описание — с учетом новых сервисов SSM и Kyuubi.
В связи с тем, что ADQM Spark 3 Connector теперь поставляется вместе с бандлом ADH, документация по коннектору перенесена в документацию ADH. В статьях проведены небольшие корректировки в связи с переходом на Spark 3.
В статье PySpark путь к Python3-интерпретатору изменен на /opt/pyspark3-python/.
Добавлена информация про параметры Ranger Service Name и Override service policies в следующие статьи:
Добавлена статья Керберизация с предустановленной Active Directory при отсутствии прав администратора.
В статью Требования к SSL-сертификатам добавлено примечание про использование FQDN в качестве alias ключа в keystore.jks.
В статью Настройка FreeIPA с помощью ADCM добавлена информация про необходимость использования FQDN в полях KDC hosts и Kadmin server.
Добавлены новые статьи по сервису Hive:
Добавлены новые статьи по сервису YARN:
В статью Обновление кластера добавлено примечание про файлы конфигураций.
В статью Установка кластера добавлено примечание про установку на "чистые" хосты без предустановленного подобного ПО.
Учтены изменения в релизе ADPS 1.1.1.b1 от 27.03.2024:
Добавлены Release notes.
Добавлена статья Шифрование паролей.
В статье Управление сервисом Knox через ADCM описано действие Update Knox passwords, а также добавлено примечание про действие Reload topologies.
В статью Плагин Ranger Knox добавлена информация про параметры Ranger Service Name и Override service policies.
Добавлены новые статьи по сервису Ranger:
Расширена статья Управление ролями в Ranger Admin UI.
Актуализировано описание параметров Ranger → LDAP sync source for User synchronizer в статье Конфигурационные параметры.
В статью Настройка FreeIPA с помощью ADCM добавлена информация про необходимость использования FQDN в полях KDC hosts и Kadmin server.
Добавлена статья Поддерживаемые расширения.
Добавлена статья Список команд SQL, не поддерживаемых в ADB.
В раздел ADB Control → Database parameters статьи Конфигурационные параметры добавлено примечание для поля Data dir.
Изменен внешний вид домашней страницы документации ADB. Вместо полного списка статей (который по-прежнему доступен в левом навигационном меню) теперь выводятся 10 статей, оказавшихся наиболее популярными среди читателей за прошедший месяц.
Выпущена первая версия документации по хостпровайдеру Yandex Cloud, включающая следующие статьи:
Ссылка на документацию доступна в разделе Хостпровайдеры на лэндинге ADCM.
Выпущена первая версия документации по хостпровайдеру SSH, включающая следующие статьи:
Ссылка на документацию доступна в разделе Хостпровайдеры на лэндинге ADCM.
Выпущена первая версия документации по хостпровайдеру VCloud (VMware), включающая следующие статьи:
Ссылка на документацию доступна в разделе Хостпровайдеры на лэндинге ADCM.
Выпущена первая версия документации по хостпровайдеру Cloud.ru Advanced, включающая следующие статьи:
Ссылка на документацию доступна в разделе Хостпровайдеры на лэндинге ADCM.
Выпущена первая версия документации по хостпровайдеру CROC Cloud, включающая следующие статьи:
Ссылка на документацию доступна в разделе Хостпровайдеры на лэндинге ADCM.
Выпущена первая версия документации по ADQM Cloud Bundle, включающая следующие статьи:
Ссылка на документацию доступна в разделе Хостпровайдеры на лэндинге ADCM.
Учтены изменения в релизе ADCM 2.1.0 от 20.03.2024:
Добавлены Release notes.
В статью Управление пользователями добавлено описание блокировки пользователей.
Актуализирована статья Настройка LDAP:
Добавлен третий пункт в примечание перед разделом Описание LDAP.
Обновлен рисунок.
Описан столбец Group DN for granting ADCM Administrator rights в таблице Настройки конфигурации.
Внесены изменения в статью Inventory-группы Ansible:
Добавлено описание групп PROVIDER и HOST в раздел Основные группы.
Всем группам сопоставлен тип бандла (см. последний столбец таблиц на странице).
Добавлен второй пример в раздел Примеры.
В разделе config → Типы параметров конфигурации статьи Bundle DSL актуализировано описание параметра structure: добавлен список доступных атрибутов и возможных значений match, обновлен пример конфигурации.
Реструктурирована статья Модули и плагины Ansible. Также в ней добавлено описание модуля adcm_change_flag.
Добавлена статья Concerns.
В статье Ролевая модель ADCM сделан более удобным внешний вид таблицы Права и роли.
Статья Режим обслуживания перенесена из раздела Базовые операции в Концепции.
Учтены изменения в релизе ADPG 14.3.6 от 05.03.2024:
Добавлены Release notes.
В статью Требования к инфраструктуре добавлена информация о поддержке Astra Linux 1.7 SE "Орел".
Описан новый функционал управления пулом соединений при помощи PgBouncer:
Добавлена статья Настройка PgBouncer.
В статье Конфигурационные параметры описана секция параметров Enable PgBouncer для сервиса ADPG.
Особенности работы с PgBouncer описаны в статьях Обзор архитектуры ADPG и Балансировка нагрузки.
В статью Метрики мониторинга ADPG-кластера добавлено описание дашборда PgBouncer statistics.
В статье с описанием сервисного действия Reconfigure & Restart добавлена информация про флажок Force reconfigure and restart.
Добавлена новая статья Представления и материализованные представления.
В секцию ADPG → Patroni ADPG configurations статьи Конфигурационные параметры добавлено описание параметров use_custom_location, patroni_log_dir, patroni_log_file_size, patroni_log_file_num, patroni_log_level.
Добавлена новая статья Интеграция ADQM и ADPG.
В статью Действия с сервисами добавлено описание действий, доступных для сервиса Clickhousekeeper.
Информация о необходимости запуска действия Reconfig and restart для сервиса ADQMDB после применения действий Expand/Shrink к сервисам Zookeeper/Clickhousekeeper добавлена в следующие статьи:
Скорректировано название ОС Astra Linux SE 1.7 Орел в статье Программные требования.
Добавлена статья Использование плагина ADB DDBoost.
Внесены изменения:
В статье Программные требования:
Дополнена рекомендация про отключение антивирусного ПО.
Указаны минимальные требования к версиям ClickHouse и PostgreSQL в случае их использования в качестве внешних систем хранения для ADB Control.
В статье Обзор Arenadata DB Control:
Добавлена рекомендация про установку Chrony.
Описаны причины, по которым рекомендуется использование внешних БД для ADB Control (Query DB и Metrics DB) в production-средах.
Добавлена статья Инструментарий arenadata_toolkit.
В статью Требования к сети добавлена информация о том, что в случае использования firewall необходимо добавить перечисленные внешние порты в список исключений.
Добавлены Release notes для релиза ADH 3.2.4.1.b2.
Написаны новые статьи для сервиса ZooKeeper:
Добавлена статья Обзор HiveServer2 UI.
В статье Архитектура ADH актуализирована схема Экосистема Hadoop и ее описание.
Учтены изменения в релизе ADQM 23.8.2.7.1.b1:
Описаны Release notes.
Добавлена статья Online-установка → Установка мониторинга → Сервис мониторинга, описывающая новый сервис Monitoring на базе Prometheus. В разделе Offline-установка статья продублирована без изменений.
В статьях Online-установка → Установка мониторинга и Offline-установка → Установка мониторинга описаны два возможных способа настройки мониторинга ADQM — с помощью нового сервиса мониторинга и по прежней схеме путем установки кластера мониторинга (либо кластера Enterprise Tools в случае offline-установки). Добавлена информация о том, что второй способ (при помощи отдельного кластера) в последующих релизах ADQM поддерживаться не будет (deprecated).
В связи с тем, что создание кеша поверх локальных дисков теперь не поддерживается, актуализирована статья Настройка хранилищ данных.
В статье Действия с сервисами для действия Reconfig and restart сервиса ADQMDB описана опция Disable validation.
Внесены изменения в статью Конфигурационные параметры для сервиса ADQMDB:
Добавлен параметр Enable secure intra-cluster communication в секцию Intra-cluster communication security.
Обновлены описания параметров в секции Cache (ранее Local cache).
В секции JDBC Bridge configuration описан параметр jdbc bridge log path.
Удалена статья Установка директории для хранения логов ZooKeeper, поскольку для нового релиза ADQM в описанных действиях нет необходимости. Статья будет доступна в предыдущей версии документации ADQM.
Добавлена новая статья Интеграция ADQM и Kafka.
Учтены изменения в релизе ADB 6.26.0.53:
Добавлены Release notes.
В статью Программные требования добавлены специфические требования для Astra Linux, связанные с cgroups v1.
В статье Настройка сервисов обновлен последний рисунок в связи с появлением параметра PL/Python3u Extension.
В статью Конфигурационные параметры добавлено описание нового параметра PL/Python3u Extension (см. секцию Main). Также в этой статье обновлено описание параметров Use nobarrier (отдельно для мастера и сегментов).
Добавлено описание возможных способов интеграции ADB и Kafka с помощью следующих коннекторов:
ADB to Kafka Connector:
Kafka to ADB Connector:
В статью Настройка кластера добавлена рекомендация использовать Java 11 в случае кастомной установки. Аналогичное примечание добавлено в статью Программные требования.
В статью Требования к сети добавлена информация о портах, используемых ADB to ADB Connector.
Расширен список известных проблем ADB и обходных решений для них.
Учтены изменения в релизе ADB Control 4.6.4:
Добавлены Release notes.
Статья Графики метрик переименована в Dashboard и перемещена на уровень выше. В статье актуализированы все рисунки.
В статье Шифрование SSL обновлены рисунки, актуализировано описание параметров из секции HTTPS parameters enable, а также добавлен ряд примечаний. Новые параметры также добавлены в статью Конфигурационные параметры (см. ADB Control → HTTPS parameters).
В начало статьи Управление кластерами добавлено примечание о необходимости обновления внешних кластеров ADB в случае использования ADB Control версии 4.6.4 и выше.
В статье Мониторинг сессий обновлены все рисунки в связи с появлением нового столбца Application name и правками светлой темы UI. Описание Application name добавлено в таблицу.
В разделе Сопоставление ролей с группами LDAP-сервера статьи Авторизация обновлены все рисунки в связи с изменением кнопок над таблицей и фильтров в UI.
В разделе Metrics offload → Настройка статьи Настройка политик запуска задач обновлены все рисунки, где отображается новый флажок Export sessions.
В разделе Metrics offload → Структура выгружаемых данных статьи Настройка политик запуска задач обновлено условие выгрузки таблицы session в связи с появлением флажка Export sessions.
В статье Basic-аутентификация обновлены все рисунки в связи с тем, что значение иконок блокировки и разблокировки пользователя изменено на обратное.
Расширен список известных проблем ADB Control и обходных решений для них.
Учтены изменения в релизе ADBM 1.6.3:
Добавлены Release notes.
В статью Управление конфигурациями в ADBM добавлен новый раздел Черновики конфигураций, описывающий новый статус конфигураций бэкапов Draft. В разделе Добавление новой конфигурации статус Creating заменен на Draft.
В статью Просмотр бэкапов в ADBM добавлено описание статуса Unknown.
Во всех статьях, где упоминается web-интерфейс ADCM, рисунки и тексты приведены в соответствие с версией ADCM 2.0.0:
Online-установка (с подразделами)
Offline-установка (с подразделами)
Действия с сервисом (с подразделами)
Учтены изменения в релизе ADH 3.2.4.1.b1:
Добавлены Release notes.
Обновлены номера версий в списке поддерживаемых сервисов.
Актуализированы конфигурационные параметры сервиса Hive: удалена секция External database, в секцию hive-site.xml добавлен параметр javax.jdo.option.ConnectionDriverName, указано значение по умолчанию для параметра javax.jdo.option.ConnectionURL.
Обновлены конфигурационные параметры сервиса HDFS: секция HDFS heap memory settings переименована в Hadoop options, и в ней актуализированы имена и описания параметров.
Актуализированы скриншоты web-интерфейса Airflow 2 в статье Обзор Airflow UI.
В рамках статьи Требования к программному обеспечению добавлена информация о поддержке Astra Linux 1.7 "Орел" SE с Axiom JDK (с необходимостью установки LC_TIME=en_US.utf8); а также скорректированы требования к пакетным менеджерам и дана ссылка на матрицу совместимости версий.
В описание конфигурационных параметров YARN добавлены требования к значению min.user.id для корректной работы YARN под Astra Linux (см. container-executor.cfg).
Добавлены новые статьи:
Матрица совместимости версий (описание совместимости версий ADH, ADPS, ADCM)
В статью Использование impala-shell для подключения к Impala добавлено примечание о способе исправления ошибки ImportError: no module named pkg_resources.
Учтены изменения в релизе ADPS 1.1.0.b1:
Описаны Release notes.
Обновлены номера версий в списке поддерживаемых сервисов.
В рамках статьи Программные требования добавлена информация о поддержке Astra Linux 1.7 "Орел" SE с Axiom JDK (с необходимостью установки LC_TIME=en_US.utf8).
Актуализированы конфигурационные параметры сервиса Ranger: удалена секция External database, добавлен параметр ranger.ks.jpa.jdbc.driver в секцию dbks-site.xml.
Добавлены новые статьи:
Описание аудита Ranger актуализировано и перемещено из документации ADH/ADS в статью ADPS Аудит Ranger.
В статью Активация SSL в кластере ADPS с помощью Knox добавлена информация о способе очистки поля gateway.tls.key.alias в ADCM 2.0.0.
Во всех статьях, где упоминается web-интерфейс ADCM, рисунки и тексты приведены в соответствие с версией ADCM 2.0.0:
Online-установка (с подразделами)
Offline-установка (с подразделами)
Описаны Release notes для релиза ADCM 2.0.0.
В статье Установка описаны переменные окружения (которые могут быть опционально указаны при создании контейнера), а также добавлена рекомендация об использовании PostgreSQL в продуктовой среде.
В разделе Установка URL ADCM статьи Установка актуализирована информация о правилах определения URL ADCM.
Актуализирована статья Примеры использования ADCM API v2: для части запросов изменены параметры и обновлены примеры ответов.
В статью Ролевая модель ADCM добавлено описание роли ADCM Auditor.
В статье Управление пользователями описана возможность разблокировки пользователей.
В статью Аудит UI добавлена информация о системных пользователях system и status.
В статье ADCM API приведены ссылки на спецификации API v2, а также добавлено примечание о том, что с текущего момента API v1 считается deprecated.
В следующие статьи добавлена информация о принципе версионирования ADCM начиная с версии 2.0.0:
В статью Обновление добавлено примечание о важности создания бэкапа перед обновлением ADCM.
Статья Release notes реструктурирована: все релизы теперь размещаются на верхнем уровне.
Во всех статьях, где упоминается web-интерфейс ADCM, рисунки и тексты приведены в соответствие с версией ADCM 2.0.0:
Добавлена новая статья Пример использования Kafka API.
Во всех статьях, где упоминается web-интерфейс ADCM, рисунки и тексты приведены в соответствие с версией ADCM 2.0.0:
Online-установка (с подразделами)
Offline-установка (с подразделами)
Действия в сервисе (с подразделами)
Добавлены новые статьи:
В статью Enable SSL/Disable SSL добавлено примечание о необходимости перезапуска Solr в случае, если активирован плагин Ranger Solr.
Во всех статьях, где упоминается web-интерфейс ADCM, рисунки и тексты приведены в соответствие с версией ADCM 2.0.0:
Online-установка (с подразделами)
Offline-установка (с подразделами)
Керберизация с предустановленным FreeIPA при отсутствии прав администратора
Плагины Ranger для ADH (с подразделами)
Добавлены новые статьи:
Во всех статьях, где упоминается web-интерфейс ADCM, рисунки и тексты приведены в соответствие с версией ADCM 2.0.0:
Online-установка (с подразделами)
Offline-установка (с подразделами)
В рамках статьи Программные требования добавлено уточнение по поводу отключения антивирусного ПО перед установкой ADB (см. пункт 6).
Во всех статьях, где упоминается web-интерфейс ADCM, рисунки и тексты приведены в соответствие с версией ADCM 2.0.0:
Online-установка (с подразделами)
Offline-установка (с подразделами)
Во всех статьях, где упоминается web-интерфейс ADCM, рисунки и тексты приведены в соответствие с версией ADCM 2.0.0:
Описаны Release notes для релиза ADH 3.1.2.1.b2.
Описаны Release notes для релиза ADPS 1.0.5.b2.
Описаны Release notes для релиза ADCM 2023.11.28.07.
Добавлены новые статьи для сервиса Hive:
Добавлены новые статьи для сервиса HDFS:
Изменено описание Ranger-плагинов:
Актуализированы статьи:
Добавлены статьи:
Добавлена статья Плагин Ranger Knox.
Учтены изменения в релизе ADB Control 4.5.3:
Добавлены Release notes.
Описан мониторинг сессий ADB:
Добавлена статья Мониторинг сессий.
В статью Политики запуска задач добавлено описание выгружаемой таблицы session, а также описано условие ее выгрузки до перечня таблиц. Кроме этого, обновлены рисунки (т.к. на странице UI добавлена информация о необходимости выбора БД для выгрузки данных).
Статья Общие настройки дополнена описанием новой вкладки Sessions.
В статью Авторизация добавлено описание права View sessions.
В рамках статьи Обзор Arenadata DB Control добавлена информация про мониторинг сессий в список функций системы.
В статье Аудит добавлено описание типа объекта session.
Из статьи Управление кластерами убрана информация про ручное добавление кластера; описание полей формы создания кластера перемещено в раздел, посвященный редактированию; обновлены все рисунки (т.к. убрана кнопка добавления кластера Create connection).
В разделе ADB Control статьи Просмотр Jobs обновлены рисунки, т.к. произведена замена ADCC на Monitoring в "хлебных крошках".
Актуализированы рисунки в большинстве статей, где отображалась светлая тема UI ADB Control.
Учтены изменения в релизе ADBM 1.5.2:
Добавлены Release notes.
В статье Запуск действий в рамках описания действия Restore:
Обновлено описание флага Skip validation.
Добавлена информация про список Restore mirrors.
Обновлены рисунки.
В рамках статьи Просмотр действий в ADBM добавлен статус Warning в списке статусов действия. Добавлено описание всех статусов действий.
Изменено описание требований к хостам ADB для установки ADBM в рамках статьи Требования к оборудованию.
Учтены изменения в релизе ADB 6.25.2.52:
Добавлены Release notes.
В статью Программные требования добавлена информация:
Упоминание Astra Linux 1.7 "Орел" SE в качестве поддерживаемой ОС.
Информация о поддержке Docker.
Информация о поддерживаемых версиях Java.
Требование наличия локали en_US.utf8.
В статью Настройка кластера добавлено описание новых параметров:
В статье Обзор ADB to ADB Connector расширен третий пункт первого примечания — про использование INSERT.
В статье Добавление хостов актуализировано второе примечание — про возможность использования FQDN в именах хостов.
В статье Конфигурационные параметры расширено описание параметра JAVA_HOME для сервиса PXF (перечислены системные пути, используемые по умолчанию).
Расширен список известных проблем ADB и обходных решений для них.
Документация по ADPS перемещена в отдельный репозиторий и теперь доступна по ссылке Arenadata Platform Security. Эта ссылка отображается также на лэндингах ADH и ADS в разделе Смежные продукты → Arenadata Platform Security (кнопка Читать документацию).
Часть статей по ADPS была перенесена из документации ADH и ADS (с актуализацией при необходимости):
Установка Arenadata Platform Security (с подразделами)
Подготовка окружения:
Добавлены новые статьи:
Действия, доступные для кластера ADPS в ADCM:
Действия, доступные для сервисов ADPS в ADCM:
В связи с перемещением документации Arenadata Platform Security (ADPS) в отдельный репозиторий, внесены изменения:
В разделе, посвященном авторизации в ADH, оставлена только одна обзорная статья по ADPS — Обзор Arenadata Platform Security. В ней добавлены ссылки на новую документацию ADPS.
Прочие статьи, перемещенные в документацию ADPS, удалены из документации ADH.
Добавлены новые статьи:
В статью Требования к файловой системе добавлено описание опции umask (user file-creation mode mask).
В связи с перемещением документации Arenadata Platform Security (ADPS) в отдельный репозиторий, внесены изменения:
В разделе, посвященном авторизации в ADS, оставлена только одна обзорная статья по ADPS — Обзор Arenadata Platform Security. В ней добавлены ссылки на новую документацию ADPS.
Прочие статьи, перемещенные в документацию ADPS, удалены из документации ADS.
Учтены изменения в релизе ADH 3.1.2.1.b1:
Добавлены Release notes.
Обновлены номера версий в списке поддерживаемых сервисов.
Добавлено описание нового сервиса Impala:
Конфигурационные параметры Impala (включая ulimits)
Описан новый сервисный компонент Flink SQL Gateway.
Описано новое кластерное действие Manage Kerberos.
Обновлена статья Частые проблемы при настройке AD Kerberos. В ней добавлена информация про ошибку создания HTTP-принципала на хосте в домене AD.
Добавлена статья Удаление хоста из кластера, поясняющая принцип использования maintenance mode в ADH.
Описана работа с PySpark.
Обновлена статья Режим высокой доступности в Hive в связи с автоматизацией high availability (HA) для Hive.
В статье Обзор работы Flink добавлено упоминание автоматической активации режима HA.
Актуализировано описание пользовательского интерфейса Flink в статье Обзор Flink UI.
В связи с тем, что ADB Spark 3 Connector теперь поставляется вместе с бандлом ADH, документация по коннектору перенесена в документацию ADH. Статья Примеры использования ADB Spark 3 Connector полностью переписана: добавлено описание предварительных требований, все команды разделены на две части (запуск команды и вывод). В прочих статьях проведены небольшие корректировки в связи с переходом на Spark 3.
Актулизировано описание схемы именования бандлов в статье Обновление кластера.
Добавлены новые статьи по работе с сервисом Spark:
Написана статья Подключение к Hive через JDBC.
Добавлены новые статьи по работе с сервисом HDFS:
Базовые операции:
Управление хранением данных:
Описаны действия, доступные для кластера ADH в ADCM:
Описаны действия, доступные для сервисов ADH в ADCM:
Добавлена статья Требования к файловой системе.
Дополнено описание конфигурационного параметра HDFS dfs.internal.nameservices в статье Конфигурационные параметры.
Добавлены Release notes для релиза ADPS 1.0.5.b1.
Учтены изменения в релизе ADS 2.8.1.1.b1:
Добавлены Release notes.
Обновлены номера версий в списке поддерживаемых сервисов.
Добавлена статья Шифрование параметров конфигурации NiFi.
Актуализированы параметры сервисов в статье Конфигурационные параметры ADS.
RedOS добавлена в список поддерживаемых ОС.
Описаны примеры использования сервисов ADS:
Добавлены статьи с описанием концепций ZooKeeper:
Добавлены справочные материалы:
В статье Защита канала по протоколу SSL добавлено примечание о необходимости заполнения поля san при создании сертификатов. Обновлен текст скрипта для создания самоподписанных сертификатов generate.sh (с учетом заполнения san).
Описаны Release notes для релиза ADCM 2023.10.10.08.
В раздел Metrics offload статьи Настройка политик запуска задач добавлен подраздел с описанием структуры выгружаемых метрик и условий их выгрузки.
Добавлена статья Общие настройки с описанием настройки часового пояса пользователя (Time zone). Функционал доступен начиная с версии ADB Control 4.4.0.
Все статьи руководства по работе с ADB Control приведены в соответствие с текущей версией ADB Control 4.4.0:
Обновлены все скриншоты в связи со сменой структуры левого навигационного меню и выводом часового пояса в верхней части ADB Control. В светлой теме документации теперь выводятся скриншоты, соответствующие светлой теме приложения.
Актуализировано описание табличных фильтров в следующих статьях:
Внесены изменения в следующие тексты:
Настройка политик запуска задач:
Добавлено описание полей Export resource groups, Interval, Delay.
Ввод параметров JDBC-подключения разделен на два этапа: строка подключения и логин/пароль.
Вкладки ADCC переименованы в ADB Control.
Поля Time (на вкладке Operations) и Event time (на вкладке Authorizations) переименованы в Operation time.
Добавлено описание типа авторизации ADB LDAP для вкладки Authorizations.
Добавлено описание типа объектов System settings для вкладки Operations.
Добавлено описание возможности просмотра измененных в ходе выполнения операции параметров на вкладке Operations.
Просмотр информации по компонентам:
Вкладки ADCC переименованы в ADB Control.
Из путей, упоминаемых на странице, исключено лишнее Monitoring перед Information.
Поле User переименовано в Username.
Кнопка Set default cluster переименована в Set default.
Подключение к ADB Control: поле Login переименовано в Username.
Просмотр jobs: из описания обеих вкладок Audit удален столбец Error message, так как его функционал перемещен в столбец Job name.
Все статьи руководства по работе с ADBM приведены в соответствие с текущей версией ADBM 1.4.0:
Обновлены все скриншоты в связи со сменой структуры левого навигационного меню и выводом часового пояса в верхней части ADBM. В светлой теме документации теперь выводятся скриншоты, соответствующие светлой теме приложения.
Актуализировано описание табличных фильтров в следующих статьях:
Внесены изменения в следующие тексты:
Добавлен тип репозитория cifs в раздел Добавление новой конфигурации статьи Управление конфигурациями в ADBM.
Добавлено описание опций Autostart, Backup type и примечание к ним в рамках статьи Disaster recovery (см. шаг 6 в разделе Настройка и запуск).
Описано поле Action ID в таблице Детали выбранного действия статьи Просмотр действий в ADBM.
В таблицу Поля секции Overview статьи Просмотр восстановлений БД в ADBM добавлена информация про возможность перехода к деталям конфигурации и бэкапа по ссылке. Изменен порядок табличных столбцов Databases и Restore types.
Исключен третий пункт ограничений в разделе Обзор статьи Управление конфигурациями в ADBM.
В разделе Концепции → WAL статьи Обзор Arenadata DB Backup Manager некорректный размер WAL-сегментов 16 МБ исправлен на 64 МБ.
В статью Примеры использования ADB ClickHouse Connector добавлен пример чтения данных из ADQM/ClickHouse в ADB.
В начало статьи с описанием Maintenance mode добавлен комментарий об условиях доступности этого режима.
В статье Требования к установке скорректировано описание минимальных требований.
Описаны Release notes для релиза ADCM 2023.09.28.17.
Добавлены статьи:
Загрузка бандла в ADCM (с описанием механизма проверки подписи бандлов)
Внесены изменения в следующие статьи:
В статье Настройка актуализирован рисунок, добавлены разделы Data retention policy и Statistics collection.
Обновлены статьи Ролевая модель ADCM, Настройка прав пользователя, Создание политик с учетом того, что в основе ролевой модели теперь используются группы, а не пользователи.
В статье Обзор UI актуализировано описание вкладки BUNDLES основного окна интерфейса: обновлен рисунок, добавлено описание атрибута Signature.
Учтены изменения в релизе ADB 6.25.1.51:
Описаны Release notes.
Добавлено описание ADB to ADB Connector, включающее следующие статьи:
Описана подготовка окружения перед установкой кластера ADB:
Обновлена статья Известные проблемы ADB.
Добавлены Release notes для релиза ADB Control 4.4.0.
Обновлена статья Известные проблемы ADB Control.
Добавлены Release notes для релиза ADBM 1.4.0.
Добавлены Release notes для релиза ADB Control 4.3.3.
Добавлены новые статьи:
В статью Аудит добавлен подраздел Детали аудита обращений к выбранному отношению.
В таблицу с описанием прав доступа в ADB Control добавлены ссылки на разделы документации, в которых можно узнать детали представленных в таблице операций.
Раздел Подключение нового кластера в статье Управление кластерами разбит на две части: с описанием автоматического и ручного добавления кластеров ADB. В начале каждого подраздела добавлены примечания.
Учтены изменения в релизе ADBM 1.3.3:
Добавлены Release notes.
Обновлена статья Disaster recovery:
Добавлено описание флага Restore mirrors.
Актуализирован рисунок, демонстрирующий заполнение окна Stream Info.
Обновлена статья Известные проблемы ADBM. Закрыты проблемы, решенные в релизе ADBM 1.3.3.
В начало статьи Управление конфигурациями в ADBM добавлено примечание про необходимость создания новой конфигурации при переключении на standby master.
Добавлены Release notes для релиза ADB 6.25.1.49.
Дополнена статья Известные проблемы ADB.
Учтены изменения в релизе ADS Control 2.1.1.b1:
В текстах статей осуществлена замена названия системы Arenadata Streaming Command Center (ADSCC) на Arenadata Streaming Control (ADS Control).
В рамках статьи Обзор UI обновлена секция управления кластерами: описаны фильтры и условные обозначения.
В рамках статьи Обзор ADS Control добавлен раздел с описанием управления пользователями.
Обновлены рисунки для обеих тем и добавлены иконки в следующих статьях:
Добавлены Release notes.
Выпущена первая версия документации по ADQM Spark Connector, в которую вошли следующие статьи:
По сравнению с предыдущей версией документации:
Статьи приведены к единому виду в соответствии с внутренними style guides.
Добавлена возможность выбора версии, как для других продуктов (через выпадающий список Выберите версию в левой части экрана).
Существенно расширена статья Пример использования.
Ссылка на документацию коннектора добавлена на лэндинги продуктов ADH и ADQM.
Добавлена возможность выбора языка, как для других продуктов (через переключатель в верхнем правом углу экрана). Существующие статьи переведены на русский язык. В последующем все новые статьи будут выпускаться сразу на двух языках.
Добавлена возможность выбора версии, как для других продуктов (через выпадающий список Выберите версию в левой части экрана).
Существующие статьи обновлены в соответствии с внутренними style guides.
Учтены изменения в релизе ADQM 23.3.2.37.1.b1:
Добавлены Release notes.
Подготовлена статья Настройка хранилищ данных с подробным описанием доступных вариантов хранения данных.
Актуализирована статья Конфигурационные параметры для сервиса ADQMDB:
Вместо параметра Storage Configuration добавлены новые секции: Enable additional local storage, Enable S3 storage, Enable local cache, Enable encrypted storage и Storage policies.
В секцию User password options добавлены параметры: Allow Implicit_NO_password, Length of password, Include Upper-case, Include Lower-case, Include Number, Include special symbols.
Добавлена секция Encryption codecs for tables.
Добавлена статья Конфигурирование логических кластеров в интерфейсе ADCM.
В рамках статьи Аппаратные требования к сети в таблицу с перечнем портов добавлен порт 9010 для сервиса ClickHouse и порты 9444, 9281 для сервиса ClickHouse Keeper.
Учтены изменения в релизе ADBM 1.3.2:
Добавлены Release notes.
Обновлена статья Disaster recovery:
Актуализированы рисунки в связи с изменением внешнего вида таблиц и фильтров.
Описаны фильтры, доступные для таблицы со списком конфигураций.
Изменено описание фильтров, доступных для таблицы со списком потоков (streams).
В таблицу с описанием секции Overview (в деталях stream) добавлено поле Restore type.
Из описания формы Create stream → Stream Info исключен флаг Restore mirrors, а также убран комментарий, описывающий ограничения при заполнении формы.
Обновлена статья Известные проблемы ADBM. Закрыты проблемы, решенные в релизе ADBM 1.3.2.
Добавлены Release notes для релиза ADB Control 4.3.2.
Добавлена статья Известные проблемы ADB Control.
Добавлены Release notes для релиза ADB 6.24.3.48.
Добавлена статья Известные проблемы ADB.
Выпущена первая версия документации по ADB Control, в которую вошли следующие статьи:
Учтены изменения в релизе ADBM 1.3.0:
Добавлена информация про Disaster recovery.
Актуализированы рисунки, а также описания и значения по умолчанию для параметров в статье Управление конфигурациями в ADBM. Для параметров Full Backup schedule, Differential backup schedule, Incremental backup schedule, Restore point creation schedule и Cleanup schedule из секции General configuration описаны переключатели (switchers), отключение которых означает ручное выполнение соответствующих действий (без расписания). Правила заполнения параметров, определяющих время и объем информации, перемещены из таблиц и описаны в одном месте перед информацией по добавлению конфигурации.
Обновлена статья Запуск действий:
Актуализированы рисунки в связи с появлением двух вкладок: Copy и Backup.
Для действия Backup описан флаг Delta.
Для действия Restore описаны новый параметр Processes, а также флаги Delta, Force, Skip Validation.
Обновлены названия запускаемых действий (например, Start Backup. Start → Start 'Backup' action и так далее).
В статье Просмотр бэкапов обновлены рисунки, описание фильтров. Добавлена информация про флаг Delta в описании деталей бэкапа.
В статье Просмотр восстановлений БД актуализированы рисунки, добавлено описание поля Restore type (с возможными значениями Self-restore и Copy). В раздел с детальной информацией по восстановлению добавлены описания параметров Processes, Restore type, Action; обновлено поле Flags.
Учтены изменения в релизе ADB 6.24.3.47:
Обновлено руководство по установке ADB ClickHouse Connector. Более нет необходимости в ручной загрузке пакетов, как ранее.
В начало статьи по установке Tkhemali Connector 1.X добавлен комментарий, информирующий о статусе коннектора.
Актуализированы рисунки и описания сервисов/компонентов во всех статьях руководства по установке ADB в связи с переименованием сервиса ADCC в ADB Control, а Tkhemali — в ADB ClickHouse Connector.
Актуализированы названия параметров сервиса ADB Control в статье Конфигурационные параметры.
Учтены изменения в релизе ADS 1.8.2.b1:
Подготовлены Release notes.
Добавлена информация про ОС Astra Linux в Программные требования.
Обновлено описание аутентификации Basic и SASL PLAINTEXT:
В статью Настройка кластера добавлен блок с рисунками про настройку разных видов аутентификации (аналогично для offline).
В статьях Basic-аутентификация и SASL PLAINTEXT описан обновленный тип включения аутентификации и настройки пользователей.
В статье Использование SASL PLAINTEXT в Kafka обновлено описание работы с пользователями.
Из статьи Действия в кластере убран блок с описанием действий, касавшихся аутентификации Basic и SASL PLAIN.
Произведена замена названия SASL PLAIN на SASL PLAINTEXT в статьях.
Добавлены новые статьи по сервису NiFi:
Добавлены рекомендации (best practices) по настройке сервисов Kafka и NiFi:
Добавлен Пример использования ksqlDB.
Приведен Пример использования Kafka REST Proxy.
Описаны Release notes для релиза ADCM 2023.07.10.17.
Расширена статья про Bundle DSL. В ней добавлено описание опционального параметра requires.
Актуализирована статья Настройка. В ней изменена структура описания параметров, и перечислены настройки для политик аутентификации (в том числе для противодействия методам brute-force).
Статья Требования к установке дополнена примерами команд для пакетного менеджера APT (наряду с YUM).
В статью Управление пользователями добавлена информация про сброс счетчика неудачных попыток входа пользователя.
Добавлена новая статья Интеграция с бандлом, содержащая схемы последовательности для загрузки бандла и запуска действия (action).
Из примеров запросов в статье Настройка ADCM для использования внешней базы данных исключены лишние кавычки.
Учтены изменения в релизе ADPG 14.3.4:
Добавлен обзор изменений в системе мониторинга.
Обновлено руководство по установке мониторинга online и offline.
Актуализировано описание метрик, доступных для кластера ADPG.
Подготовлены Release notes.
Добавлен блок статей, посвященных модели данных:
Добавлен блок новых статей с примерами запросов к БД в раздел Базовые операции → Запросы к БД:
Описана аутентификация через Kerberos:
Добавлено описание действий Enable Kerberos, Disable Kerberos, Reconfig Kerberos в раздел Управление кластером статьи с описанием кластерных действий в ADQM.
Добавлено описание назначения и особенностей использования сервисов координации:
Описана работа с Livy.
Расширено руководство по планированию:
Добавлена информация про добавление каталогов данных HDFS.
Обновлено руководство по установке ADH:
Актуализированы рисунки и наименования сервисов во всех разделах руководства.
Обновлено описание параметров в разделе, посвященном конфигурированию кластера.
Добавлены Release notes:
Учтены изменения в релизе ADH 2.1.10.b1:
Подготовлены Release notes.
Обновлен список поддерживаемых сервисов.
Описана установка версии TLS для кластера ADH.
Обновлена статья, посвященная режиму высокой доступности (High Availability, HA) в YARN. Добавлена информация про автоматическую активацию HA-режима.
Описана работа с кастомными Zeppelin-интерпретаторами, для которых определен параметр user-managed=true.
Добавлено описание метрик мониторинга, доступных для сервисов ADH.
Добавлены Release notes для релиза ADPS 1.0.4.5.
Описаны Release notes для релиза ADCM 2023.06.14.16.
Добавлено описание Bundle DSL.
Обновлена статья про модули и плагины Ansible. В ней добавлено описание для adcm_change_maintenance_mode.
Добавлена информация про inventory-группы Ansible.
Добавлены Release notes для новых версий ADB: 6.23.5.45 и 5.29.11.19.
Изменено название новой версии коннектора к ADQM/ClickHouse — с Tkhemali connector 2.0 на ADB ClickHouse Connector. Переименование произведено во всех статьях по коннектору:
В материалах по предыдущей версии коннектора Tkhemali 1.X произведена замена имени профиля Tkh на TKH. Имя профиля следует указывать заглавными буквами.
Добавлены Release notes для одной из предыдущих версий ADB Control — 3.1.3.
Актуализирован список конфигурационных параметров в соответствии с релизом ADQM 22.8.12.45:
Сервис ADQMDB:
В раздел SSL добавлены параметры Enable https, Enable tcp secure.
В разделе Engine описаны возможные значения для параметра System.
Раздел Clickhouse Keeper переименован в Clickhouse Keeper (integrated). В нем добавлен параметр Enable IPv6.
В разделе Limits изменено описание параметра Max concurrent threads, добавлены параметры Max server memory usage, Max thread pool size.
В раздел Network добавлены параметры Enable http, Enable tcp, ClickHouse tcp port.
В раздел Intra-cluster communication security добавлены параметры Interserver protocol, Interserver protocol’s port.
Добавлен новый раздел Kerberos configuration.
В раздел Log settings добавлены параметры Logging level, Log file size, MB, Log files count, metric_log, asynchronous_metric_log.
Добавлен новый раздел User password options.
Добавлен новый раздел Data compression.
В раздел Other добавлен параметр Time zone.
Сервис Chproxy:
Раздел Server configuration переименован в Network configuration. В нем добавлены новые параметры.
Добавлен новый раздел Proxy wildcarded users.
Описаны параметры для сервиса Clickhousekeeper.
Актуализированы описания конфигурационных параметров в статьях Проксирование и Шифрование SSL.
В статье, посвященной добавлению сервисов во время установки ADQM, сервис Clickhousekeeper добавлен в таблицу со списком возможных сервисов.
Учтены изменения в релизе ADB 6.23.3.44 от 27.04.2023:
Описана новая версия коннектора к ADQM/ClickHouse — Tkhemali connector 2.0:
Во всех статьях проведена замена названия системы Arenadata DB Command Center (ADBCC) на Arenadata DB Control (ADB Control).
Информация о релизе добавлена в Release notes:
Добавлена информация про предыдущую версию коннектора Tkhemali 1.X, которой можно продолжать пользоваться во время эксплуатации новой версии в бета-режиме. По сравнению с прежней документацией, информация актуализирована, дополнена примерами и разбита на три раздела:
Учтены изменения в релизе ADBM 1.2.1 от 27.04.2023:
Описана новая вкладка Restores для просмотра запусков восстановления БД (действий Restore).
В статье про подключение к ADBM добавлена информация про необходимость смены пароля при входе пользователя в систему.
На всех рисунках проведена замена названия системы Arenadata DB Command Center (ADBCC) на Arenadata DB Control (ADB Control).
Добавлены Release notes.
Добавлено примечание с информацией про ограничения, действующие при сохранении конфигурации. См. блок ВНИМАНИЕ перед разделом Добавление новой конфигурации в статье Управление конфигурациями в ADBM.
Учтены изменения в релизе ADQM 22.8.12.45:
Добавлена информация о релизе в статью Релизы.
Добавлена информация про ОС Astra Linux в Программные требования.
Добавлен блок статей в раздел Базовые операции → Запросы к БД → Типы запросов:
В раздел с описанием установки сервисных компонентов Добавление компонентов добавлено уточнение, что при установке компонента Clickhouse JDBC Bridge (опционально) необходимо добавить его на все хосты кластера, где установлен компонент Clickhouse Server.
Добавлены Release notes для релиза ADCM 2023.04.21.12.
Исключена лишняя команда ALTER USER из статьи Настройка ADCM для использования внешней базы данных.
Добавлен список Release Notes: Релизы ADPS.
Добавлен список поддерживаемых сервисов: Поддерживаемые сервисы.
Актуализирована статья со списком поддерживаемых сервисов: Поддерживаемые сервисы.
Добавлена статья с описанием частых проблем, возникающих при настройке Kerberos с Active Directory, а также способы их решения: Частые проблемы при настройке AD Kerberos.
Исправлена опечатка с сервисом Solr на втором рисунке в статье Архитектура ADH.
Учтены изменения в релизе ADS 1.8.1.b1:
В рамках статьи Действия в Schema-Registry добавлено описание новых действий Expand и Shrink для сервиса Schema-Registry.
Описана возможность конфигурирования сервиса MiNiFi для группы хостов: Настройка сервисов → Группы конфигурации.
Описана возможность конфигурирования логирования (Log4j) на уровне сервисных компонентов: Настройка сервисов → Компоненты.
По всей документации произведена замена имени сервиса KSQL на ksqlDB.
Обновлены версии сервисов Kafka Connect и ZooKeeper в Поддерживаемые сервисы ADS.
Обновлены Release notes.
В статье Конфигурационные параметры ADS добавлены: группа параметров Basic Auth properties для сервисов ksqlDB, Kafka REST Proxy, Schema-Registry; группа параметров MiNiFi Agent bootstrap.conf для сервиса MiNiFi.
Добавлены статьи для сервиса NiFi:
Обновлены Release notes для релиза ADCM 2023.04.10.22.
Выпущен первый релиз документации, в который вошли следующие статьи:
Руководство по установке кластера ADB через ADCM:
Online-установка (с подразделами).
Offline-установка (с подразделами).
Блок статей, посвященных модели данных ADB:
Блок статей, посвященных работе с таблицами:
Описание базового табличного синтаксиса с примерами и полезными запросами к системным таблицам: Таблицы.
Обзор типов таблиц с рекомендациями по использованию каждого из них: Типы таблиц.
Описание доступных алгоритмов сжатия данных с рекомендациями по использованию: Сжатие данных.
Обзор политик распределения данных (distribution) с рекомендациями и примерами корректного/некорректного распределения: Распределение данных.
Введение в партиционирование с большим количеством примеров: Партиционирование.
Обзор серверных конфигурационных параметров (Global User Configuration, GUC): Настройка GUC.
Список конфигурационных параметров, настраиваемых для сервисов ADB в ADCM: Конфигурационные параметры.
Release notes с разбивкой по сервисам:
Выпущен первый релиз документации, в который вошли следующие статьи:
Обзор функционала, архитектуры решения и основных концепций: Обзор Arenadata DB Backup Manager.
Описание подключения к ADBM через web-интерфейс: Подключение к ADBM.
Настройка конфигураций, используемых для формирования бэкапов и других кластерных действий: Управление конфигурациями в ADBM.
Запуск кластерных действий: Запуск действий в ADBM.
Просмотр списка бэкапов и деталей по каждому бэкапу: Просмотр бэкапов в ADBM.
Просмотр списка действий и деталей по каждому действию: Просмотр действий в ADBM.
Учтены изменения для релиза 2023.03.27.20:
Описана возможность использования PostgreSQL: Настройка ADCM для использования внешней базы данных.
Добавлено руководство по миграции данных из SQLite в PostgreSQL: Миграция ADCM.
Обновлены Release notes.
Написана статья по модулям и плагинам Ansible: Модули и плагины Ansible.
Добавлена информация про импорт/экспорт сервисов: Импорт/экспорт сервисов.
Дана справка по открытию описания ADCM API: ADCM API.
В статьях добавлено указание авторов.
Учтены изменения для релиза ADPG 14.3.3 от 16.03.2023:
Описана балансировка нагрузки на базе HAProxy, доступная в Enterprise-версии ADPG: Балансировка нагрузки, Настройка балансировки нагрузки.
В рамках руководства по установке ADPG в статьях, посвященных добавлению сервисов и компонентов, добавлена информация про новый сервис Balancer.
Обновлен раздел, описывающий кластерные и сервисные действия ADPG: Управление кластером ADPG. Отмечены действия, доступные для Balancer; удалены действия, которые ранее использовались для установки расширений contrib и PostGIS (теперь они предустановлены в ADPG).
Отредактирована статья, описывающая работу с расширениями: Работа с расширениями.
В рамках статьи Конфигурационные параметры добавлены конфигурационные параметры для нового сервиса Balancer, а также убраны параметры, использовавшиеся для установки расширений.
Подготовлены Release notes.
Написана статья, посвященная логической репликации: Логическая репликация.
Добавлено описание возможных сценариев использования ADPG: Сценарии использования.
Добавлен блок статей, посвященных модели данных ADPG:
Существенно отредактированы и дополнены практическими примерами статьи, посвященные управлению доступом на уровне строк и столбцов:
Оредактирована и дополнена примерами статья об использовании псевдонимов (alias) таблиц и столбцов: Использование псевдонимов таблиц и столбцов в запросах.
Исключены статьи:
Концепции → Обзор ADPG — замена на более полную статью Сценарии использования.
Справочные материалы → SQL-команды — все полезные команды с подробными примерами описываются в рамках разделов Базовые операции и Концепции.
Справочные материалы → PostgreSQL cheatsheet — список полезных psql-команд перенесен в статью Использование стандартной утилиты PostgreSQL — psql.
В статьях добавлено указание авторов.
Выпущен первый релиз документации, в который вошли следующие статьи:
Руководство по планированию кластера ADQM:
Руководство по установке кластера ADQM через ADCM:
Online-установка (с подразделами)
Offline-установка (с подразделами)
Ключевые особенности ADQM как базы данных: Особенности.
Блок статей, посвященных архитектуре ADQM:
Блок статей, посвященных модели данных ADQM:
Описание возможных способов подключения к ADQM:
Доступные виды аутентификации:
Описание авторизации на основе RBAC: Авторизация.
Возможные действия, доступные для ADQM на уровне кластера и сервисов в ADCM:
Описание настройки SSL-шифрования: Шифрование SSL.
Список конфигурационных параметров, настраиваемых для сервисов ADQM в ADCM: Конфигурационные параметры.
Подготовлены Release notes для релиза ADH 2.1.8.b3.
Добавлена статья, поясняющая принцип минорного/мажорного обновления бандлов ADH/ADPS — Обновление кластера.
Добавлены материалы по работе с FreeIPA:
Переведены и отредактированы статьи из раздела Командная строка Hadoop (с подразделами)
В статьях добавлено указание авторов.
Внесены следующие правки:
На страницу с программными требованиями Требования к программному обеспечению добавлена информация про ОС AltLinux 8 SP, минимальные версии Java и ADCM.
На странице Архитектура ADH отредактирована подпись второго рисунка.
На главной продуктовой странице убран переключатель типов пользователей (ввиду небольшого числа статей для такого деления на данный момент).
Учтены изменения в релизе ADS 1.8.0.b1 от 02.02.2023:
Описана возможность удаления сервисов из кластера в статье Действия в сервисе.
Обновлены версии подерживаемых сервисов на странице Поддерживаемые сервисы ADS.
Добавлена информация о релизе в статье Релизы ADS.
Добавлен блок статей с описанием авторизации для сервиса NiFi:
Расширена статья с описанием кластерных действий Действия в кластере. В ней добавлено описание действий, которые становятся доступными после применения других действий (Create/Update/Delete user, Manage Basic Auth users и группа действий Disable).
Существующие статьи по авторизации реструктурированы:
Общая часть, касающаяся настройки различных способов авторизации и аудита для сервисов через ADPS, перенесена из Базовые операции → Kafka → Управление доступом → Авторизация → ADPS в Руководства → Управление доступом → Авторизация → ADPS. Она включает следующие статьи:
В разделах Базовые операции → Kafka → Управление доступом → Авторизация и Базовые операции → NiFi → Управление доступом → Авторизация оставлены только описания, специфичные для сервисов Kafka и NiFi, соответственно. С общими статьями, перечисленными выше, они связаны перекрестными ссылками.
Внесены следующие правки:
Скорректировано описание действия Shrink для сервиса MiNiFi (в части описания DN для удаления).
Исправлена опечатка с двойным использованием /bin в одном из путей в статье Mirror Maker 2.
Добавлены статьи с обзором пользовательского интерфейса (UI) NiFi Server и NiFi Registry.
Добавлено описание аутентификации для сервиса NiFi: Аутентификация в сервисе NiFi.
Учтены изменения в релизе ADS 1.7.2.b2 от 10.01.2023:
Добавлена статья Basic-аутентификация с описанием Basic-аутентификации для сервисов Schema Registry, Kafka REST Proxy, KSQL.
Обновлены Release notes.
Существующие статьи по аутентификации реструктурированы:
Общая часть, касающаяся настройки различных способов аутентификации для сервисов через ADCM, перенесена из Базовые операции → Kafka → Управление доступом → Аутентификация в Руководства → Управление доступом → Аутентификация. Она включает следующие статьи:
В разделах Базовые операции → Kafka → Управление доступом → Аутентификация и Базовые операции → NiFi → Управление доступом → Аутентификация оставлены только описания, специфичные для сервисов Kafka и NiFi, соответственно. С общими статьями, перечисленными выше, они связаны перекрестными ссылками.
В статьях добавлено указание авторов.
Обновлены Release notes в соответствии с релизом ADSCC 1.0.0.b2 от 10.01.2023.
В статьях добавлено указание авторов.
Добавлена возможность выбора языка, как для других продуктов (через переключатель в верхнем правом углу экрана). Существующие статьи переведены на русский язык. В последующем все новые статьи будут выпускаться сразу на двух языках.
Добавлена возможность выбора версии, как для других продуктов (через выпадающий список Выберите версию в левой части экрана).
Произведена коррекция существующих статей: статьи приведены к единому виду в соответствии с внутренними style guides, внесены правки в содержимое некоторых статей на основе технического ревью.
Изменена структура статей в левом навигационном меню (TOC), а также на главной странице продукта:
Названия статей были расширены, чтобы пользователь однозначно понимал, в каком сервисе находится в случае перехода из окна поиска, а не из левого меню. Убраны повторяющиеся названия вида Example, How it works и так далее.
Названия статей в левом меню, в самих статьях, на главной странице и в перекрестных ссылках приведены к общему виду.
На главной странице существенно расширился состав статей для быстрого доступа. Перечень разделов приведен в соответствие с другими продуктами.
В левом меню все статьи, связанные с концепциями (архитектурные схемы, принципы работы) — перенесены из Базовые операции в раздел Концепции.
В левом меню в Базовые операции добавлены промежуточные разделы. Ранее все статьи размещались исключительно на верхнем уровне.
В левом меню в разделе Концепции убрано разбиение сервисов ADH на главные (Core) и прочие. Теперь все сервисы размещаются на верхнем уровне, как в Базовые операции. А все архитектурные схемы сведены в одну общую статью Архитектура ADH.
Добавлены новые материалы:
В статью Релизы добавлена информация по всем релизам ADH вплоть до 2.1.7.b1.
В Режим высокой доступности в Hive добавлена статья про настройку high availability (HA) для Hive.
В Коллекции Solr актуализированы команды по работе с коллекциями в Solr — описаны два пути: через скрипт /usr/lib/solr/bin/solr и утилиту solrctl.
Конфигурационные параметры всех сервисов ADH, настраиваемые через ADCM, сведены в одну общую статью Конфигурационные параметры по аналогии с другими продуктами. Описаны параметры, добавленные в последних релизах.
Описаны изменения в релизе ADPG 14.3.2 от 29.12.2022:
Описана реализация high availability (HA) на базе Patroni для Enterprise-версии ADPG: Обзор отказоустойчивости ADPG.
Описана offline-установка ADPG, доступная в Enterprise-версии ADPG: Offline-установка (с подразделами).
Добавлено описание новых сервисных действий: Enable maintenance mode, Disable maintenance mode, Expand.
В руководстве по установке ADPG обновлены статьи, посвященные добавлению сервисов, распределению компонентов и установке кластера: приведено описание сервиса Etcd, обновлен пример распределения компонентов, обновлены конечные значения статусов сервисов.
В руководстве по установке ADPG обновлены статьи, связанные с мониторингом (online, offline): из описаний исключен сервис Monitoring Clients; описаны новая настройка Enable monitoring и кластерное действие Install monitoring agents. Измененный порядок настройки сервиса мониторинга приведен в следующих статьях: online, offline.
Изменена архитектурная схема в статье Архитектура ADPG. На схеме выделены новые компоненты, связанные с реализацией HA.
Обновлены конфигурационные параметры в разделе Конфигурационные параметры. Добавлены параметры, связанные с реализацией HA (см. раздел ADPG → Patroni ADPG configurations).
Добавлены Release notes для нового релиза.
Добавлены новые статьи на тему формирования бэкапов БД:
Удалена статья с кратким описанием сервисных действий Базовые операции → Управление сервисом ADPG. Вместо нее созданы два новых раздела:
Действия с кластером — с описанием действий, доcтупных на уровне кластера.
Действия с сервисом — с подразделами, в которых описаны сервисные действия (каждое на отдельной странице).
В Релизы добавлена информация о релизе 2022.12.26.18 от 26.12.2022.
Подготовлены статьи для первого релиза ADSCC (Arenadata Streaming Command Center) 1.0.0.b1 от 23.12.2022:
Учтены изменения в релизе ADS 1.7.2.b1 от 06.12.2022:
В Конфигурационные параметры ADS добавлены новые конфигурационные параметры, доступные для сервисов ADS в UI ADCM.
Добавлена информация о релизе в статью Релизы ADS.
Добавлены новые статьи:
Подготовлены статьи, описывающие изменения в релизе ADCM 2022.12.07.10 от 07.12.2022:
Добавлена статья Аудит UI. Она описывает две новые вкладки в интерфейсе ADCM (Audit operations и Audit logins).
Статья Режим обслуживания перенесена из Концепции → Объекты ADCM → Хост → Режим обслуживания в Базовые операции → Управление ADCM → Режим обслуживания. Текст статьи дополнен информацией о MM для сервисов и компонентов ADCM.
В статью Обзор UI добавлена информация о возможности загрузки логов на вкладке JOBS.
Информация о новом релизе добавлена в Релизы.
Добавлена статья Создание простого бандла.
Изменена структура статьи Релизы по прошлым релизам — часть изменений из Новые функции распределена по вкладкам Улучшения и Прочее.
Выпущен первый релиз документации, в который вошли следующие статьи:
Online-установка (с подразделами)
Offline-установка (с подразделами)
Действия в сервисе (с подразделами)
Выпущен первый релиз документации, в который вошли следующие статьи:
Добавлены новые статьи в раздел Базовые операции → Запросы к БД:
Добавлены новые статьи:
Реструктурирована и дополнена статья Аутентификация по паролю.
Изменена структура левого навигационного меню (с целью сокращения элементов на верхнем уровне):
Статьи, касающиеся доступов, переведены в общий раздел Базовые операции → Управление доступом к базе данных.
Статьи, касающиеся подключения к ADPG — в раздел Базовые операции → Подключение к ADPG.
Статьи, касающиеся запросов к БД — в раздел Базовые операции → Запросы к БД.
Ссылки на новые статьи добавлены на главную страницу продукта.
Реализована возможность выбора версии продукта в поле Выберите версию.
Подготовлены статьи, описывающие изменения в релизе ADPG от 30.06.2022:
Новые конфигурационные параметры: effective_cache_size, maintenance_work_mem, work_mem, min_wal_size, max_wal_size, wal_keep_size, huge_pages, superuser_reserved_connections.
Реструктурированы статьи Рекомендуемые настройки ADPG и postgresql.conf. Вместо них оставлена единая статья Конфигурационные параметры, содержащая описание всех параметров, настраиваемых для сервисов ADPG через ADCM.
Добавлена информация по логированию.
Обновлена статья Требования к SSL-сертификатам.
Обновлен внешний вид русунков в разделе Руководства → Безопасность (размеры и эффект затемнения в темной теме).
Актуализированы Release Notes.
Название hadoop в ссылках на документацию изменено на ADH.