Изменен внешний вид домашней страницы документации ADPG. Вместо полного списка статей (который по-прежнему доступен в левом навигационном меню) теперь выводятся 10 статей, оказавшихся наиболее популярными среди читателей за прошедший месяц.
Изменен внешний вид домашней страницы документации ADPG. Вместо полного списка статей (который по-прежнему доступен в левом навигационном меню) теперь выводятся 10 статей, оказавшихся наиболее популярными среди читателей за прошедший месяц.
Изменен внешний вид домашней страницы документации ADCM. Вместо полного списка статей (который по-прежнему доступен в левом навигационном меню) теперь выводятся 10 статей, оказавшихся наиболее популярными среди читателей за прошедший месяц.
Изменен внешний вид домашней страницы документации ADQM. Вместо полного списка статей (который по-прежнему доступен в левом навигационном меню) теперь выводятся 10 статей, оказавшихся наиболее популярными среди читателей за прошедший месяц.
Изменен внешний вид домашней страницы документации ADS. Вместо полного списка статей (который по-прежнему доступен в левом навигационном меню) теперь выводятся 10 статей, оказавшихся наиболее популярными среди читателей за прошедший месяц.
Изменен внешний вид домашней страницы документации ADH. Вместо полного списка статей (который по-прежнему доступен в левом навигационном меню) теперь выводятся 10 статей, оказавшихся наиболее популярными среди читателей за прошедший месяц.
Изменен внешний вид домашней страницы документации ADPS. Вместо полного списка статей (который по-прежнему доступен в левом навигационном меню) теперь выводятся 10 статей, оказавшихся наиболее популярными среди читателей за прошедший месяц.
Выпущена первая версия обновленной документации по ADB Cloud Bundle, включающая следующие статьи:
Ссылка на документацию доступна в разделе Hostproviders на лэндинге ADCM.
Добавлены Release notes для релиза ADCM 2.1.1 от 11.04.2024.
Учтены изменения в релизе ADS 3.3.2.1.b1 от 11.04.2024:
Добавлены Release notes.
Актуализированы номера версий в статье Поддерживаемые сервисы ADS.
В статье Действия в кластере описано новое действие Manage Kerberos, а замененные им действия Enable Kerberos и Disable Kerberos исключены.
Добавлена статья Custom kerberization settings. Ее упоминание добавлено в другие статьи на тему Kerberos-аутентификации.
В статью MIT Kerberos добавлен раздел Настройка пользовательского jaas.conf.
В статью Конфигурационные параметры ADS добавлена секция Kafka → JMX auth.
Добавлены статьи:
В раздел Обновление кластера статьи Действия в кластере добавлено примечание про файлы конфигураций.
В статью Установка кластера добавлено примечание про установку на "чистые" хосты без предустановленного подобного ПО.
Добавлены Release notes для релиза ADB 6.26.2.55.
Добавлена статья Кластерные действия.
Расширен список известных проблем ADB и обходных решений для них (см. версию 6.12.1.11).
Добавлены Release notes для релиза ADB Control 4.7.5.
Добавлены Release notes для релиза ADBM 1.7.3.
Расширен список известных проблем ADBM и обходных решений для них (см. версию 1.7.0).
Учтены изменения в релизе ADH 3.2.4.2.b1 от 27.03.2024:
Добавлены Release notes.
Актуализированы номера версий в статье Поддерживаемые сервисы.
Обновлена статья Матрица совместимости версий.
Добавлено описание сервиса Smart Storage Manager (SSM):
Добавлено описание сервиса Kyuubi:
Добавлено описание компонента Spark Connect:
Действия с компонентом Spark Connect (см. Add Spark3 Connect и Remove Spark3 Connect)
Конфигурационные параметры (см. spark.connect.grpc.binding.port)
В статье Добавление сервисов описаны сервисы SSM и Kyuubi.
В статью Добавление компонентов добавлены примеры распределения компонентов по хостам для сервисов SSM и Kyuubi.
В статье Архитектура ADH актуализирована вторая схема и ее описание — с учетом новых сервисов SSM и Kyuubi.
В связи с тем, что ADQM Spark 3 Connector теперь поставляется вместе с бандлом ADH, документация по коннектору перенесена в документацию ADH. В статьях проведены небольшие корректировки в связи с переходом на Spark 3.
В статье PySpark путь к Python3-интерпретатору изменен на /opt/pyspark3-python/.
Добавлена информация про параметры Ranger Service Name и Override service policies в следующие статьи:
Добавлена статья Керберизация с предустановленной Active Directory при отсутствии прав администратора.
В статью Требования к SSL-сертификатам добавлено примечание про использование FQDN в качестве alias ключа в keystore.jks.
В статью Настройка FreeIPA с помощью ADCM добавлена информация про необходимость использования FQDN в полях KDC hosts и Kadmin server.
Добавлены новые статьи по сервису Hive:
Добавлены новые статьи по сервису YARN:
В статью Обновление кластера добавлено примечание про файлы конфигураций.
В статью Установка кластера добавлено примечание про установку на "чистые" хосты без предустановленного подобного ПО.
Учтены изменения в релизе ADPS 1.1.1.b1 от 27.03.2024:
Добавлены Release notes.
Добавлена статья Шифрование паролей.
В статье Управление сервисом Knox через ADCM описано действие Update Knox passwords, а также добавлено примечание про действие Reload topologies.
В статью Плагин Ranger Knox добавлена информация про параметры Ranger Service Name и Override service policies.
Добавлены новые статьи по сервису Ranger:
Расширена статья Управление ролями в Ranger Admin UI.
Актуализировано описание параметров Ranger → LDAP sync source for User synchronizer в статье Конфигурационные параметры.
В статью Настройка FreeIPA с помощью ADCM добавлена информация про необходимость использования FQDN в полях KDC hosts и Kadmin server.
Добавлена статья Поддерживаемые расширения.
Добавлена статья Список команд SQL, не поддерживаемых в ADB.
В раздел ADB Control → Database parameters статьи Конфигурационные параметры добавлено примечание для поля Data dir.
Изменен внешний вид домашней страницы документации ADB. Вместо полного списка статей (который по-прежнему доступен в левом навигационном меню) теперь выводятся 10 статей, оказавшихся наиболее популярными среди читателей за прошедший месяц.
Выпущена первая версия обновленной документации по хостпровайдеру Yandex Cloud, включающая следующие статьи:
Ссылка на документацию доступна в разделе Hostproviders на лэндинге ADCM.
Выпущена первая версия обновленной документации по хостпровайдеру SSH, включающая следующие статьи:
Ссылка на документацию доступна в разделе Hostproviders на лэндинге ADCM.
Выпущена первая версия обновленной документации по хостпровайдеру VCloud (VMware), включающая следующие статьи:
Ссылка на документацию доступна в разделе Hostproviders на лэндинге ADCM.
Выпущена первая версия обновленной документации по хостпровайдеру Cloud.ru Advanced, включающая следующие статьи:
Ссылка на документацию доступна в разделе Hostproviders на лэндинге ADCM.
Выпущена первая версия обновленной документации по хостпровайдеру CROC Cloud, включающая следующие статьи:
Ссылка на документацию доступна в разделе Hostproviders на лэндинге ADCM.
Выпущена первая версия документации по ADQM Cloud Bundle, включающая следующие статьи:
Ссылка на документацию доступна в разделе Hostproviders на лэндинге ADCM.
Учтены изменения в релизе ADCM 2.1.0 от 20.03.2024:
Добавлены Release notes.
В статью Управление пользователями добавлено описание блокировки пользователей.
Актуализирована статья Настройка LDAP:
Добавлен третий пункт в примечание перед разделом Описание LDAP.
Обновлен рисунок.
Описан столбец Group DN for granting ADCM Administrator rights в таблице Настройки конфигурации.
Внесены изменения в статью Inventory-группы Ansible:
Добавлено описание групп PROVIDER и HOST в раздел Основные группы.
Всем группам сопоставлен тип бандла (см. последний столбец таблиц на странице).
Добавлен второй пример в раздел Примеры.
В разделе config → Типы параметров конфигурации статьи Bundle DSL актуализировано описание параметра structure: добавлен список доступных атрибутов и возможных значений match, обновлен пример конфигурации.
Реструктурирована статья Модули и плагины Ansible. Также в ней добавлено описание модуля adcm_change_flag.
Добавлена статья Concerns.
В статье Ролевая модель ADCM сделан более удобным внешний вид таблицы Права и роли.
Статья Режим обслуживания перенесена из раздела Базовые операции в Концепции.
Учтены изменения в релизе ADPG 14.3.6 от 05.03.2024:
Добавлены Release notes.
В статью Требования к инфраструктуре добавлена информация о поддержке Astra Linux 1.7 SE "Orel".
Описан новый функционал управления пулом соединений при помощи PgBouncer:
Добавлена статья Настройка PgBouncer.
В статье Конфигурационные параметры описана секция параметров Enable PgBouncer для сервиса ADPG.
Особенности работы с PgBouncer описаны в статьях Обзор архитектуры ADPG и Балансировка нагрузки.
В статью Метрики мониторинга ADPG-кластера добавлено описание дашборда PgBouncer statistics.
В статье с описанием сервисного действия Reconfigure & Restart добавлена информация про флажок Force reconfigure and restart.
Добавлена новая статья Представления и материализованные представления.
В секцию ADPG → Patroni ADPG configurations статьи Конфигурационные параметры добавлено описание параметров use_custom_location, patroni_log_dir, patroni_log_file_size, patroni_log_file_num, patroni_log_level.
Добавлена новая статья Интеграция ADQM и ADPG.
В статью Действия с сервисами добавлено описание действий, доступных для сервиса Clickhousekeeper.
Информация о необходимости запуска действия Reconfig and restart для сервиса ADQMDB после применения действий Expand/Shrink к сервисам Zookeeper/Clickhousekeeper добавлена в следующие статьи:
Скорректировано название ОС Astra Linux SE 1.7 Орел в статье Программные требования.
Добавлена статья Использование плагина ADB DDBoost.
Внесены изменения:
В статье Программные требования:
Дополнена рекомендация про отключение антивирусного ПО.
Указаны минимальные требования к версиям ClickHouse и PostgreSQL в случае их использования в качестве внешних систем хранения для ADB Control.
В статье Обзор Arenadata DB Control:
Добавлена рекомендация про установку Chrony.
Описаны причины, по которым рекомендуется использование внешних БД для ADB Control (Query DB и Metrics DB) в production-средах.
Добавлена статья Инструментарий arenadata_toolkit.
В статью Требования к сети добавлена информация о том, что в случае использования firewall необходимо добавить перечисленные внешние порты в список исключений.
Добавлены Release notes для релиза ADH 3.2.4.1.b2.
Написаны новые статьи для сервиса ZooKeeper:
Добавлена статья Обзор HiveServer2 UI.
В статье Архитектура ADH актуализирована схема Экосистема Hadoop и ее описание.
Учтены изменения в релизе ADQM 23.8.2.7.1.b1:
Описаны Release notes.
Добавлена статья Online-установка → Сервис мониторинга, описывающая новый сервис Monitoring на базе Prometheus. В разделе Offline-установка статья продублирована без изменений.
В статьях Online-установка → Установка мониторинга и Offline-установка → Установка мониторинга описаны два возможных способа настройки мониторинга ADQM — с помощью нового сервиса мониторинга и по прежней схеме путем установки кластера мониторинга (либо кластера Enterprise Tools в случае offline-установки). Добавлена информация о том, что второй способ (при помощи отдельного кластера) в последующих релизах ADQM поддерживаться не будет (deprecated).
В связи с тем, что создание кеша поверх локальных дисков теперь не поддерживается, актуализирована статья Настройка хранилищ данных.
В статье Действия с сервисами для действия Reconfig and restart сервиса ADQMDB описана опция Disable validation.
Внесены изменения в статью Конфигурационные параметры для сервиса ADQMDB:
Добавлен параметр Enable secure intra-cluster communication в секцию Intra-cluster communication security.
Обновлены описания параметров в секции Cache (ранее Local cache).
В секции JDBC Bridge configuration описан параметр jdbc bridge log path.
Удалена статья Установка директории для хранения логов ZooKeeper, поскольку для нового релиза ADQM в описанных действиях нет необходимости. Статья будет доступна в предыдущей версии документации ADQM.
Добавлена новая статья Интеграция ADQM и Kafka.
Учтены изменения в релизе ADB 6.26.0.53:
Добавлены Release notes.
В статью Программные требования добавлены специфические требования для Astra Linux, связанные с cgroups v1.
В статье Настройка сервисов обновлен последний рисунок в связи с появлением параметра PL/Python3u Extension.
В статью Конфигурационные параметры добавлено описание нового параметра PL/Python3u Extension (см. секцию Main). Также в этой статье обновлено описание параметров Use nobarrier (отдельно для мастера и сегментов).
Добавлено описание возможных способов интеграции ADB и Kafka с помощью следующих коннекторов:
ADB to Kafka Connector:
Kafka to ADB Connector:
В статью Настройка кластера добавлена рекомендация использовать Java 11 в случае кастомной установки. Аналогичное примечание добавлено в статью Программные требования.
В статью Требования к сети добавлена информация о портах, используемых ADB to ADB Connector.
Расширен список известных проблем ADB и обходных решений для них.
Учтены изменения в релизе ADB Control 4.6.4:
Добавлены Release notes.
Статья Графики метрик переименована в Dashboard и перемещена на уровень выше. В статье актуализированы все рисунки.
В статье Шифрование SSL обновлены рисунки, актуализировано описание параметров из секции HTTPS parameters enable, а также добавлен ряд примечаний. Новые параметры также добавлены в статью Конфигурационные параметры (см. ADB Control → HTTPS parameters).
В начало статьи Управление кластерами добавлено примечание о необходимости обновления внешних кластеров ADB в случае использования ADB Control версии 4.6.4 и выше.
В статье Мониторинг сессий обновлены все рисунки в связи с появлением нового столбца Application name и правками светлой темы UI. Описание Application name добавлено в таблицу.
В разделе Сопоставление ролей с группами LDAP-сервера статьи Авторизация обновлены все рисунки в связи с изменением кнопок над таблицей и фильтров в UI.
В разделе Metrics offload → Настройка статьи Настройка политик запуска задач обновлены все рисунки, где отображается новый флажок Export sessions.
В разделе Metrics offload → Структура выгружаемых данных статьи Настройка политик запуска задач обновлено условие выгрузки таблицы session в связи с появлением флажка Export sessions.
В статье Basic-аутентификация обновлены все рисунки в связи с тем, что значение иконок блокировки и разблокировки пользователя изменено на обратное.
Расширен список известных проблем ADB Control и обходных решений для них.
Учтены изменения в релизе ADBM 1.6.3:
Добавлены Release notes.
В статью Управление конфигурациями в ADBM добавлен новый раздел Черновики конфигураций, описывающий новый статус конфигураций бэкапов Draft. В разделе Добавление новой конфигурации статус Creating заменен на Draft.
В статью Просмотр бэкапов в ADBM добавлено описание статуса Unknown.
Во всех статьях, где упоминается web-интерфейс ADCM, рисунки и тексты приведены в соответствие с версией ADCM 2.0.0:
Online-установка (с подразделами)
Offline-установка (с подразделами)
Действия с сервисом (с подразделами)
Учтены изменения в релизе ADH 3.2.4.1.b1:
Добавлены Release notes.
Обновлены номера версий в списке поддерживаемых сервисов.
Актуализированы конфигурационные параметры сервиса Hive: удалена секция External database, в секцию hive-site.xml добавлен параметр javax.jdo.option.ConnectionDriverName, указано значение по умолчанию для параметра javax.jdo.option.ConnectionURL.
Обновлены конфигурационные параметры сервиса HDFS: секция HDFS heap memory settings переименована в Hadoop options, и в ней актуализированы имена и описания параметров.
Актуализированы скриншоты web-интерфейса Airflow 2 в статье Обзор Airflow UI.
В рамках статьи Требования к программному обеспечению добавлена информация о поддержке Astra Linux 1.7 "Орел" SE с Axiom JDK (с необходимостью установки LC_TIME=en_US.utf8); а также скорректированы требования к пакетным менеджерам и дана ссылка на матрицу совместимости версий.
В описание конфигурационных параметров YARN добавлены требования к значению min.user.id для корректной работы YARN под Astra Linux (см. container-executor.cfg).
Добавлены новые статьи:
Матрица совместимости версий (описание совместимости версий ADH, ADPS, ADCM)
В статью Использование impala-shell для подключения к Impala добавлено примечание о способе исправления ошибки ImportError: no module named pkg_resources.
Учтены изменения в релизе ADPS 1.1.0.b1:
Описаны Release notes.
Обновлены номера версий в списке поддерживаемых сервисов.
В рамках статьи Программные требования добавлена информация о поддержке Astra Linux 1.7 "Орел" SE с Axiom JDK (с необходимостью установки LC_TIME=en_US.utf8).
Актуализированы конфигурационные параметры сервиса Ranger: удалена секция External database, добавлен параметр ranger.ks.jpa.jdbc.driver в секцию dbks-site.xml.
Добавлены новые статьи:
Описание аудита Ranger актуализировано и перемещено из документации ADH/ADS в статью ADPS Аудит Ranger.
В статью Активация SSL в кластере ADPS с помощью Knox добавлена информация о способе очистки поля gateway.tls.key.alias в ADCM 2.0.0.
Во всех статьях, где упоминается web-интерфейс ADCM, рисунки и тексты приведены в соответствие с версией ADCM 2.0.0:
Online-установка (с подразделами)
Offline-установка (с подразделами)
Описаны Release notes для релиза ADCM 2.0.0.
В статье Установка описаны переменные окружения (которые могут быть опционально указаны при создании контейнера), а также добавлена рекомендация об использовании PostgreSQL в продуктовой среде.
В разделе Установка URL ADCM статьи Установка актуализирована информация о правилах определения URL ADCM.
Актуализирована статья Примеры использования ADCM API v2: для части запросов изменены параметры и обновлены примеры ответов.
В статью Ролевая модель ADCM добавлено описание роли ADCM Auditor.
В статье Управление пользователями описана возможность разблокировки пользователей.
В статью Аудит UI добавлена информация о системных пользователях system и status.
В статье ADCM API приведены ссылки на спецификации API v2, а также добавлено примечание о том, что с текущего момента API v1 считается deprecated.
В следующие статьи добавлена информация о принципе версионирования ADCM начиная с версии 2.0.0:
В статью Обновление добавлено примечание о важности создания бэкапа перед обновлением ADCM.
Статья Release notes реструктурирована: все релизы теперь размещаются на верхнем уровне.
Во всех статьях, где упоминается web-интерфейс ADCM, рисунки и тексты приведены в соответствие с версией ADCM 2.0.0:
Добавлена новая статья Пример использования Kafka API.
Во всех статьях, где упоминается web-интерфейс ADCM, рисунки и тексты приведены в соответствие с версией ADCM 2.0.0:
Online-установка (с подразделами)
Offline-установка (с подразделами)
Действия в сервисе (с подразделами)
Добавлены новые статьи:
В статью Enable SSL/Disable SSL добавлено примечание о необходимости перезапуска Solr в случае, если активирован плагин Ranger Solr.
Во всех статьях, где упоминается web-интерфейс ADCM, рисунки и тексты приведены в соответствие с версией ADCM 2.0.0:
Online-установка (с подразделами)
Offline-установка (с подразделами)
Керберизация с предустановленным FreeIPA при отсутствии прав администратора
Плагины Ranger для ADH (с подразделами)
Добавлены новые статьи:
Во всех статьях, где упоминается web-интерфейс ADCM, рисунки и тексты приведены в соответствие с версией ADCM 2.0.0:
Online-установка (с подразделами)
Offline-установка (с подразделами)
В рамках статьи Программные требования добавлено уточнение по поводу отключения антивирусного ПО перед установкой ADB (см. пункт 6).
Во всех статьях, где упоминается web-интерфейс ADCM, рисунки и тексты приведены в соответствие с версией ADCM 2.0.0:
Online-установка (с подразделами)
Offline-установка (с подразделами)
Во всех статьях, где упоминается web-интерфейс ADCM, рисунки и тексты приведены в соответствие с версией ADCM 2.0.0:
Описаны Release notes для релиза ADH 3.1.2.1.b2.
Описаны Release notes для релиза ADPS 1.0.5.b2.
Описаны Release notes для релиза ADCM 2023.11.28.07.
Добавлены новые статьи для сервиса Hive:
Добавлены новые статьи для сервиса HDFS:
Изменено описание Ranger-плагинов:
Актуализированы статьи:
Добавлены статьи:
Добавлена статья Плагин Ranger Knox.
Учтены изменения в релизе ADB Control 4.5.3:
Добавлены Release notes.
Описан мониторинг сессий ADB:
Добавлена статья Мониторинг сессий.
В статью Политики запуска задач добавлено описание выгружаемой таблицы session, а также описано условие ее выгрузки до перечня таблиц. Кроме этого, обновлены рисунки (т.к. на странице UI добавлена информация о необходимости выбора БД для выгрузки данных).
Статья Общие настройки дополнена описанием новой вкладки Sessions.
В статью Авторизация добавлено описание права View sessions.
В рамках статьи Обзор Arenadata DB Control добавлена информация про мониторинг сессий в список функций системы.
В статье Аудит добавлено описание типа объекта session.
Из статьи Управление кластерами убрана информация про ручное добавление кластера; описание полей формы создания кластера перемещено в раздел, посвященный редактированию; обновлены все рисунки (т.к. убрана кнопка добавления кластера Create connection).
В разделе ADB Control статьи Просмотр Jobs обновлены рисунки, т.к. произведена замена ADCC на Monitoring в "хлебных крошках".
Актуализированы рисунки в большинстве статей, где отображалась светлая тема UI ADB Control.
Учтены изменения в релизе ADBM 1.5.2:
Добавлены Release notes.
В статье Запуск действий в рамках описания действия Restore:
Обновлено описание флага Skip validation.
Добавлена информация про список Restore mirrors.
Обновлены рисунки.
В рамках статьи Просмотр действий в ADBM добавлен статус Warning в списке статусов действия. Добавлено описание всех статусов действий.
Изменено описание требований к хостам ADB для установки ADBM в рамках статьи Требования к оборудованию.
Учтены изменения в релизе ADB 6.25.2.52:
Добавлены Release notes.
В статью Программные требования добавлена информация:
Упоминание Astra Linux 1.7 "Орел" SE в качестве поддерживаемой ОС.
Информация о поддержке Docker.
Информация о поддерживаемых версиях Java.
Требование наличия локали en_US.utf8.
В статью Настройка кластера добавлено описание новых параметров:
В статье Обзор ADB to ADB Connector расширен третий пункт первого примечания — про использование INSERT.
В статье Добавление хостов актуализировано второе примечание — про возможность использования FQDN в именах хостов.
В статье Конфигурационные параметры расширено описание параметра JAVA_HOME для сервиса PXF (перечислены системные пути, используемые по умолчанию).
Расширен список известных проблем ADB и обходных решений для них.
Документация по ADPS перемещена в отдельный репозиторий и теперь доступна по ссылке Arenadata Platform Security. Эта ссылка отображается также на лэндингах ADH и ADS в разделе Смежные продукты → Arenadata Platform Security (кнопка Читать документацию).
Часть статей по ADPS была перенесена из документации ADH и ADS (с актуализацией при необходимости):
Установка Arenadata Platform Security (с подразделами)
Подготовка окружения:
Добавлены новые статьи:
Действия, доступные для кластера ADPS в ADCM:
Действия, доступные для сервисов ADPS в ADCM:
В связи с перемещением документации Arenadata Platform Security (ADPS) в отдельный репозиторий, внесены изменения:
В разделе, посвященном авторизации в ADH, оставлена только одна обзорная статья по ADPS — Обзор Arenadata Platform Security. В ней добавлены ссылки на новую документацию ADPS.
Прочие статьи, перемещенные в документацию ADPS, удалены из документации ADH.
Добавлены новые статьи:
В статью Требования к файловой системе добавлено описание опции umask (user file-creation mode mask).
В связи с перемещением документации Arenadata Platform Security (ADPS) в отдельный репозиторий, внесены изменения:
В разделе, посвященном авторизации в ADS, оставлена только одна обзорная статья по ADPS — Обзор Arenadata Platform Security. В ней добавлены ссылки на новую документацию ADPS.
Прочие статьи, перемещенные в документацию ADPS, удалены из документации ADS.
Учтены изменения в релизе ADH 3.1.2.1.b1:
Добавлены Release notes.
Обновлены номера версий в списке поддерживаемых сервисов.
Добавлено описание нового сервиса Impala:
Конфигурационные параметры Impala (включая ulimits)
Описан новый сервисный компонент Flink SQL Gateway.
Описано новое кластерное действие Manage Kerberos.
Обновлена статья Частые проблемы при настройке AD Kerberos. В ней добавлена информация про ошибку создания HTTP-принципала на хосте в домене AD.
Добавлена статья Удаление хоста из кластера, поясняющая принцип использования maintenance mode в ADH.
Описана работа с PySpark.
Обновлена статья Режим высокой доступности в Hive в связи с автоматизацией high availability (HA) для Hive.
В статье Обзор работы Flink добавлено упоминание автоматической активации режима HA.
Актуализировано описание пользовательского интерфейса Flink в статье Обзор Flink UI.
В связи с тем, что ADB Spark 3 Connector теперь поставляется вместе с бандлом ADH, документация по коннектору перенесена в документацию ADH. Статья Примеры использования ADB Spark 3 Connector полностью переписана: добавлено описание предварительных требований, все команды разделены на две части (запуск команды и вывод). В прочих статьях проведены небольшие корректировки в связи с переходом на Spark 3.
Актулизировано описание схемы именования бандлов в статье Обновление кластера.
Добавлены новые статьи по работе с сервисом Spark:
Написана статья Подключение к Hive через JDBC.
Добавлены новые статьи по работе с сервисом HDFS:
Базовые операции:
Управление хранением данных:
Описаны действия, доступные для кластера ADH в ADCM:
Описаны действия, доступные для сервисов ADH в ADCM:
Добавлена статья Требования к файловой системе.
Дополнено описание конфигурационного параметра HDFS dfs.internal.nameservices в статье Конфигурационные параметры.
Добавлены Release notes для релиза ADPS 1.0.5.b1.
Учтены изменения в релизе ADS 2.8.1.1.b1:
Добавлены Release notes.
Обновлены номера версий в списке поддерживаемых сервисов.
Добавлена статья Шифрование параметров конфигурации NiFi.
Актуализированы параметры сервисов в статье Конфигурационные параметры ADS.
RedOS добавлена в список поддерживаемых ОС.
Описаны примеры использования сервисов ADS:
Добавлены статьи с описанием концепций ZooKeeper:
Добавлены справочные материалы:
В статье Защита канала по протоколу SSL добавлено примечание о необходимости заполнения поля san при создании сертификатов. Обновлен текст скрипта для создания самоподписанных сертификатов generate.sh (с учетом заполнения san).
Описаны Release notes для релиза ADCM 2023.10.10.08.
В раздел Metrics offload статьи Настройка политик запуска задач добавлен подраздел с описанием структуры выгружаемых метрик и условий их выгрузки.
Добавлена статья Общие настройки с описанием настройки часового пояса пользователя (Time zone). Функционал доступен начиная с версии ADB Control 4.4.0.
Все статьи руководства по работе с ADB Control приведены в соответствие с текущей версией ADB Control 4.4.0:
Обновлены все скриншоты в связи со сменой структуры левого навигационного меню и выводом часового пояса в верхней части ADB Control. В светлой теме документации теперь выводятся скриншоты, соответствующие светлой теме приложения.
Актуализировано описание табличных фильтров в следующих статьях:
Внесены изменения в следующие тексты:
Настройка политик запуска задач:
Добавлено описание полей Export resource groups, Interval, Delay.
Ввод параметров JDBC-подключения разделен на два этапа: строка подключения и логин/пароль.
Вкладки ADCC переименованы в ADB Control.
Поля Time (на вкладке Operations) и Event time (на вкладке Authorizations) переименованы в Operation time.
Добавлено описание типа авторизации ADB LDAP для вкладки Authorizations.
Добавлено описание типа объектов System settings для вкладки Operations.
Добавлено описание возможности просмотра измененных в ходе выполнения операции параметров на вкладке Operations.
Просмотр информации по компонентам:
Вкладки ADCC переименованы в ADB Control.
Из путей, упоминаемых на странице, исключено лишнее Monitoring перед Information.
Поле User переименовано в Username.
Кнопка Set default cluster переименована в Set default.
Подключение к ADB Control: поле Login переименовано в Username.
Просмотр jobs: из описания обеих вкладок Audit удален столбец Error message, так как его функционал перемещен в столбец Job name.
Все статьи руководства по работе с ADBM приведены в соответствие с текущей версией ADBM 1.4.0:
Обновлены все скриншоты в связи со сменой структуры левого навигационного меню и выводом часового пояса в верхней части ADBM. В светлой теме документации теперь выводятся скриншоты, соответствующие светлой теме приложения.
Актуализировано описание табличных фильтров в следующих статьях:
Внесены изменения в следующие тексты:
Добавлен тип репозитория cifs в раздел Добавление новой конфигурации статьи Управление конфигурациями в ADBM.
Добавлено описание опций Autostart, Backup type и примечание к ним в рамках статьи Disaster recovery (см. шаг 6 в разделе Настройка и запуск).
Описано поле Action ID в таблице Детали выбранного действия статьи Просмотр действий в ADBM.
В таблицу Поля секции Overview статьи Просмотр восстановлений БД в ADBM добавлена информация про возможность перехода к деталям конфигурации и бэкапа по ссылке. Изменен порядок табличных столбцов Databases и Restore types.
Исключен третий пункт ограничений в разделе Обзор статьи Управление конфигурациями в ADBM.
В разделе Концепции → WAL статьи Обзор Arenadata DB Backup Manager некорректный размер WAL-сегментов 16 МБ исправлен на 64 МБ.
В статью Примеры использования ADB ClickHouse Connector добавлен пример чтения данных из ADQM/ClickHouse в ADB.
В начало статьи с описанием Maintenance mode добавлен комментарий об условиях доступности этого режима.
В статье Требования к установке скорректировано описание минимальных требований.
Описаны Release notes для релиза ADCM 2023.09.28.17.
Добавлены статьи:
Загрузка бандла в ADCM (с описанием механизма проверки подписи бандлов)
Внесены изменения в следующие статьи:
В статье Настройка актуализирован рисунок, добавлены разделы Data retention policy и Statistics collection.
Обновлены статьи Ролевая модель ADCM, Настройка прав пользователя, Создание политик с учетом того, что в основе ролевой модели теперь используются группы, а не пользователи.
В статье Обзор UI актуализировано описание вкладки BUNDLES основного окна интерфейса: обновлен рисунок, добавлено описание атрибута Signature.
Учтены изменения в релизе ADB 6.25.1.51:
Описаны Release notes.
Добавлено описание ADB to ADB Connector, включающее следующие статьи:
Описана подготовка окружения перед установкой кластера ADB:
Обновлена статья Известные проблемы ADB.
Добавлены Release notes для релиза ADB Control 4.4.0.
Обновлена статья Известные проблемы ADB Control.
Добавлены Release notes для релиза ADBM 1.4.0.
Добавлены Release notes для релиза ADB Control 4.3.3.
Добавлены новые статьи:
В статью Аудит добавлен подраздел Детали аудита обращений к выбранному отношению.
В таблицу с описанием прав доступа в ADB Control добавлены ссылки на разделы документации, в которых можно узнать детали представленных в таблице операций.
Раздел Подключение нового кластера в статье Управление кластерами разбит на две части: с описанием автоматического и ручного добавления кластеров ADB. В начале каждого подраздела добавлены примечания.
Учтены изменения в релизе ADBM 1.3.3:
Добавлены Release notes.
Обновлена статья Disaster recovery:
Добавлено описание флага Restore mirrors.
Актуализирован рисунок, демонстрирующий заполнение окна Stream Info.
Обновлена статья Известные проблемы ADBM. Закрыты проблемы, решенные в релизе ADBM 1.3.3.
В начало статьи Управление конфигурациями в ADBM добавлено примечание про необходимость создания новой конфигурации при переключении на standby master.
Добавлены Release notes для релиза ADB 6.25.1.49.
Дополнена статья Известные проблемы ADB.
Учтены изменения в релизе ADS Control 2.1.1.b1:
В текстах статей осуществлена замена названия системы Arenadata Streaming Command Center (ADSCC) на Arenadata Streaming Control (ADS Control).
В рамках статьи Обзор UI обновлена секция управления кластерами: описаны фильтры и условные обозначения.
В рамках статьи Обзор ADS Control добавлен раздел с описанием управления пользователями.
Обновлены рисунки для обеих тем и добавлены иконки в следующих статьях:
Добавлены Release notes.
Выпущена первая версия обновленной документации по ADQM Spark Connector, в которую вошли следующие статьи на обоих языках:
По сравнению с предыдущей версией документации:
Статьи приведены к единому виду в соответствии с внутренними style guides.
Добавлена возможность выбора версии, как для других продуктов (через выпадающий список Select version в левой части экрана).
Существенно расширена статья Пример использования.
Ссылка на документацию коннектора добавлена на лэндинги продуктов ADH и ADQM.
Добавлена возможность выбора языка, как для других продуктов (через переключатель в верхнем правом углу экрана). Существующие статьи переведены на русский язык. В последующем все новые статьи будут выпускаться сразу на двух языках.
Добавлена возможность выбора версии, как для других продуктов (через выпадающий список Select version в левой части экрана).
Существующие статьи обновлены в соответствии с внутренними style guides.
Учтены изменения в релизе ADQM 23.3.2.37.1.b1:
Добавлены Release notes.
Подготовлена статья Настройка хранилищ данных с подробным описанием доступных вариантов хранения данных.
Актуализирована статья Конфигурационные параметры для сервиса ADQMDB:
Вместо параметра Storage Configuration добавлены новые секции: Enable additional local storage, Enable S3 storage, Enable local cache, Enable encrypted storage и Storage policies.
В секцию User password options добавлены параметры: Allow Implicit_NO_password, Length of password, Include Upper-case, Include Lower-case, Include Number, Include special symbols.
Добавлена секция Encryption codecs for tables.
Добавлена статья Конфигурирование логических кластеров в интерфейсе ADCM.
В рамках статьи Аппаратные требования к сети в таблицу с перечнем портов добавлен порт 9010 для сервиса ClickHouse и порты 9444, 9281 для сервиса ClickHouse Keeper.
Учтены изменения в релизе ADBM 1.3.2:
Добавлены Release notes.
Обновлена статья Disaster recovery:
Актуализированы рисунки в связи с изменением внешнего вида таблиц и фильтров.
Описаны фильтры, доступные для таблицы со списком конфигураций.
Изменено описание фильтров, доступных для таблицы со списком потоков (streams).
В таблицу с описанием секции Overview (в деталях stream) добавлено поле Restore type.
Из описания формы Create stream → Stream Info исключен флаг Restore mirrors, а также убран комментарий, описывающий ограничения при заполнении формы.
Обновлена статья Известные проблемы ADBM. Закрыты проблемы, решенные в релизе ADBM 1.3.2.
Добавлены Release notes для релиза ADB Control 4.3.2.
Добавлена статья Известные проблемы ADB Control.
Добавлены Release notes для релиза ADB 6.24.3.48.
Добавлена статья Известные проблемы ADB.
Выпущена первая версия обновленной документации по ADB Control, в которую вошли следующие статьи на обоих языках:
Учтены изменения в релизе ADBM 1.3.0:
Добавлена информация про Disaster recovery.
Актуализированы рисунки, а также описания и значения по умолчанию для параметров в статье Управление конфигурациями в ADBM. Для параметров Full Backup schedule, Differential backup schedule, Incremental backup schedule, Restore point creation schedule и Cleanup schedule из секции General configuration описаны переключатели (switchers), отключение которых означает ручное выполнение соответствующих действий (без расписания). Правила заполнения параметров, определяющих время и объем информации, перемещены из таблиц и описаны в одном месте перед информацией по добавлению конфигурации.
Обновлена статья Запуск действий:
Актуализированы рисунки в связи с появлением двух вкладок: Copy и Backup.
Для действия Backup описан флаг Delta.
Для действия Restore описаны новый параметр Processes, а также флаги Delta, Force, Skip Validation.
Обновлены названия запускаемых действий (например, Start Backup. Start → Start 'Backup' action и так далее).
В статье Просмотр бэкапов обновлены рисунки, описание фильтров. Добавлена информация про флаг Delta в описании деталей бэкапа.
В статье Просмотр восстановлений БД актуализированы рисунки, добавлено описание поля Restore type (с возможными значениями Self-restore и Copy). В раздел с детальной информацией по восстановлению добавлены описания параметров Processes, Restore type, Action; обновлено поле Flags.
Учтены изменения в релизе ADB 6.24.3.47:
Обновлено руководство по установке ADB ClickHouse Connector. Более нет необходимости в ручной загрузке пакетов, как ранее.
В начало статьи по установке Tkhemali Connector 1.X добавлен комментарий, информирующий о статусе коннектора.
Актуализированы рисунки и описания сервисов/компонентов во всех статьях руководства по установке ADB в связи с переименованием сервиса ADCC в ADB Control, а Tkhemali — в ADB ClickHouse Connector.
Актуализированы названия параметров сервиса ADB Control в статье Конфигурационные параметры.
Учтены изменения в релизе ADS 1.8.2.b1:
Подготовлены Release notes.
Добавлена информация про ОС Astra Linux в Planning guide → Software requirements.
Обновлено описание аутентификации Basic и SASL PLAINTEXT:
В статью Get started → Online installation → Install ADS cluster → Configure a cluster добавлен блок с рисунками про настройку разных видов аутентификации (аналогично для offline).
В статьях Basic authentication и SASL PLAINTEXT описан обновленный тип включения аутентификации и настройки пользователей.
В статье Use SASL PLAINTEXT in Kafka обновлено описание работы с пользователями.
Из статьи Cluster actions убран блок с описанием действий, касавшихся аутентификации Basic и SASL PLAIN.
Произведена замена названия SASL PLAIN на SASL PLAINTEXT в статьях.
Добавлены новые статьи по сервису NiFi:
Пример построения потока данных: How to → NiFi → Build a dataflow.
Использование языка выражений (Expression Language) NiFi: How to → NiFi → Usе Expression Language.
Добавлены рекомендации (best practices) по настройке сервисов Kafka и NiFi:
Добавлен пример использования сервиса ksqlDB: How to → ksqlDB → Usage example.
Приведен пример использования Kafka REST Proxy: How to → Kafka REST Proxy → Usage example.
Описаны Release notes для релиза ADCM 2023.07.10.17.
Расширена статья про Bundle DSL. В ней добавлено описание опционального параметра requires.
Актуализирована статья Настройка. В ней изменена структура описания параметров, и перечислены настройки для политик аутентификации (в том числе для противодействия методам brute-force).
Статья Требования к установке дополнена примерами команд для пакетного менеджера APT (наряду с YUM).
В статью Управление пользователями добавлена информация про сброс счетчика неудачных попыток входа пользователя.
Добавлена новая статья Интеграция с бандлом, содержащая схемы последовательности для загрузки бандла и запуска действия (action).
Из примеров запросов в статье Настройка ADCM для использования внешней базы данных исключены лишние кавычки.
Учтены изменения в релизе ADPG 14.3.4:
Добавлен обзор изменений в системе мониторинга.
Обновлено руководство по установке мониторинга online и offline.
Актуализировано описание метрик, доступных для кластера ADPG.
Подготовлены Release notes.
Добавлен блок статей, посвященных модели данных:
Добавлен блок новых статей с примерами запросов к БД в раздел How to → Data querying:
Описана аутентификация через Kerberos:
Добавлено описание действий Enable Kerberos, Disable Kerberos, Reconfig Kerberos в раздел Actions статьи с описанием кластерных действий в ADQM.
Добавлено описание назначения и особенностей использования сервисов координации:
Описана работа с Livy.
Расширено руководство по планированию:
Добавлена информация про добавление каталогов данных HDFS.
Обновлено руководство по установке ADH:
Актуализированы рисунки и наименования сервисов во всех разделах руководства.
Обновлено описание параметров в разделе, посвященном конфигурированию кластера.
Добавлены Release notes:
Учтены изменения в релизе ADH 2.1.10.b1:
Подготовлены Release notes.
Обновлен список поддерживаемых сервисов.
Описана установка версии TLS для кластера ADH.
Обновлена статья, посвященная режиму высокой доступности (High Availability, HA) в YARN. Добавлена информация про автоматическую активацию HA-режима.
Описана работа с кастомными Zeppelin-интерпретаторами, для которых определен параметр user-managed=true.
Добавлено описание метрик мониторинга, доступных для сервисов ADH.
Добавлены Release notes для релиза ADPS 1.0.4.5.
Описаны Release notes для релиза ADCM 2023.06.14.16.
Добавлено описание Bundle DSL.
Обновлена статья про модули и плагины Ansible. В ней добавлено описание для adcm_change_maintenance_mode.
Добавлена информация про Ansible inventory groups.
Добавлены Release notes для новых версий ADB: 6.23.5.45 и 5.29.11.19.
Изменено название новой версии коннектора к ADQM/ClickHouse — с Tkhemali connector 2.0 на ADB ClickHouse Connector. Переименование произведено во всех статьях по коннектору:
В материалах по предыдущей версии коннектора Tkhemali 1.X произведена замена имени профиля Tkh на TKH. Имя профиля следует указывать заглавными буквами.
Добавлены Release notes для одной из предыдущих версий ADB Control — 3.1.3.
Актуализирован список конфигурационных параметров в соответствии с релизом ADQM 22.8.12.45:
Сервис ADQMDB:
В раздел SSL добавлены параметры Enable https, Enable tcp secure.
В разделе Engine описаны возможные значения для параметра System.
Раздел Clickhouse Keeper переименован в Clickhouse Keeper (integrated). В нем добавлен параметр Enable IPv6.
В разделе Limits изменено описание параметра Max concurrent threads, добавлены параметры Max server memory usage, Max thread pool size.
В раздел Network добавлены параметры Enable http, Enable tcp, ClickHouse tcp port.
В раздел Intra-cluster communication security добавлены параметры Interserver protocol, Interserver protocol’s port.
Добавлен новый раздел Kerberos configuration.
В раздел Log settings добавлены параметры Logging level, Log file size, MB, Log files count, metric_log, asynchronous_metric_log.
Добавлен новый раздел User password options.
Добавлен новый раздел Data compression.
В раздел Other добавлен параметр Time zone.
Сервис Chproxy:
Раздел Server configuration переименован в Network configuration. В нем добавлены новые параметры.
Добавлен новый раздел Proxy wildcarded users.
Описаны параметры для сервиса Clickhousekeeper.
Актуализированы описания конфигурационных параметров в статьях Concepts → Architecture → Proxying и How to → Enable SSL encryption.
В статье, посвященной добавлению сервисов во время установки ADQM, сервис Clickhousekeeper добавлен в таблицу со списком возможных сервисов.
Учтены изменения в релизе ADB 6.23.3.44 от 27.04.2023:
Описана новая версия коннектора к ADQM/ClickHouse — Tkhemali connector 2.0:
Во всех статьях проведена замена названия системы Arenadata DB Command Center (ADBCC) на Arenadata DB Control (ADB Control).
Информация о релизе добавлена в Release notes:
Добавлена информация про предыдущую версию коннектора Tkhemali 1.X, которой можно продолжать пользоваться во время эксплуатации новой версии в бета-режиме. По сравнению с прежней документацией, информация актуализирована, дополнена примерами и разбита на три раздела:
Учтены изменения в релизе ADBM 1.2.1 от 27.04.2023:
Описана новая вкладка Restores для просмотра запусков восстановления БД (действий Restore).
В статье про подключение к ADBM добавлена информация про необходимость смены пароля при входе пользователя в систему.
На всех рисунках проведена замена названия системы Arenadata DB Command Center (ADBCC) на Arenadata DB Control (ADB Control).
Добавлены Release notes.
Добавлено примечание с информацией про ограничения, действующие при сохранении конфигурации. См. блок CAUTION перед разделом Add a new configuration в статье Tutorials → Arenadata DB Backup Manager → Basic operations → Manage configurations.
Учтены изменения в релизе ADQM 22.8.12.45:
Добавлена информация о релизе в Release notes.
Добавлена информация про ОС Astra Linux в Planning guide → Software requirements.
Добавлен блок статей в раздел How to → Data querying → Query types:
Описание оператора JOIN — JOIN clause.
Описание работы со словарями — Dictionaries.
В раздел с описанием установки сервисных компонентов Get started → Online installation → Install ADQM cluster → Add components добавлено уточнение, что при установке компонента Clickhouse JDBC Bridge (опционально) необходимо добавить его на все хосты кластера, где установлен компонент Clickhouse Server.
Добавлены Release notes для релиза ADCM 2023.04.21.12.
Исключена лишняя команда ALTER USER из статьи Get started → Configure ADCM to use an external database.
Добавлен список Release Notes: Release notes → ADPS releases.
Добавлен список поддерживаемых сервисов: Release notes → Supported services.
Актуализирована статья со списком поддерживаемых сервисов: Release notes → Supported services.
Добавлена статья с описанием частых проблем, возникающих при настройке Kerberos с Active Directory, а также способы их решения: Tutorials → Security → Kerberos → MS Active Directory → AD Kerberos common problems.
Исправлена опечатка с сервисом Solr на втором рисунке в статье Concepts → Architecture and data model.
Учтены изменения в релизе ADS 1.8.1.b1:
В рамках статьи Tutorials → ADS cluster management → Service actions → Schema-Registry добавлено описание новых действий Expand и Shrink для сервиса Schema-Registry.
Описана возможность конфигурирования сервиса MiNiFi для группы хостов: Get started → Online installation → Install ADS cluster → Configure services → Configuration groups.
Описана возможность конфигурирования логирования (Log4j) на уровне сервисных компонентов: Get started → Online installation → Install ADS cluster → Configure services → Components.
По всей документации произведена замена имени сервиса KSQL на ksqlDB.
Обновлены версии сервисов Kafka Connect и ZooKeeper в Release notes → Supported services.
Обновлены Release notes.
В статье References → ADS configuration parameters добавлены: группа параметров Basic Auth properties для сервисов ksqlDB, Kafka REST Proxy, Schema-Registry; группа параметров MiNiFi Agent bootstrap.conf для сервиса MiNiFi.
Добавлена группа статей про работу с процессорами и группами процессов в NiFi:
Написана статья про работу с шаблонами в NiFi: How to → NiFi → Basic operations → Work with templates.
Описана работа с атрибутами в NiFi: How to → NiFi → Basic operations → Work with attributes.
Описаны возможности встроенного мониторинга в NiFi: How to → NiFi → Basic operations → Built-in monitoring.
Обновлены Release notes для релиза ADCM 2023.04.10.22.
В первый релиз вошли следующие статьи на обоих языках:
Руководство по установке кластера ADB через ADCM:
Get started → Online installation (с подразделами).
Get started → Offline installation (с подразделами).
Блок статей, посвященных модели данных ADB:
Обзор модели данных: Concepts → Data model.
Базы данных: Concepts → Data model → Databases & Schemas → Databases.
Схемы: Concepts → Data model → Databases & Schemas → Schemas.
Табличные пространства: Concepts → Data model → Tablespaces.
Описание spill-файлов и механизмов управления ими: Concepts → Data model → Spill files.
Блок статей, посвященных работе с таблицами:
Описание базового табличного синтаксиса с примерами и полезными запросами к системным таблицам: Concepts → Data model → Tables.
Обзор типов таблиц с рекомендациями по использованию каждого из них: Concepts → Data model → Tables → Table types.
Описание доступных алгоритмов сжатия данных с рекомендациями по использованию: Concepts → Data model → Tables → Data compression.
Обзор политик распределения данных (distribution) с рекомендациями и примерами корректного/некорректного распределения: Concepts → Data model → Tables → Distribution.
Введение в партиционирование с большим количеством примеров: Concepts → Data model → Tables → Partitioning.
Обзор серверных конфигурационных параметров (Global User Configuration, GUC): Concepts → DBMS basics → Configure via GUC.
Список конфигурационных параметров, настраиваемых для сервисов ADB в ADCM: References → Configuration parameters.
Release notes с разбивкой по сервисам:
В первый релиз вошли следующие статьи на обоих языках:
Обзор функционала, архитектуры решения и основных концепций: Tutorials → Arenadata Database Backup Manager → Overview.
Описание подключения к ADBM через web-интерфейс: Tutorials → Arenadata Database Backup Manager → Connect to ADBM.
Настройка конфигураций, используемых для формирования бэкапов и других кластерных действий: Tutorials → Arenadata Database Backup Manager → Basic operations → Manage configurations.
Запуск кластерных действий: Tutorials → Arenadata Database Backup Manager → Basic operations → Work with backups → Run actions.
Просмотр списка бэкапов и деталей по каждому бэкапу: Tutorials → Arenadata Database Backup Manager → Basic operations → Work with backups → View backups.
Просмотр списка действий и деталей по каждому действию: Tutorials → Arenadata Database Backup Manager → Basic operations → View actions.
Учтены изменения для релиза 2023.03.27.20:
Описана возможность использования PostgreSQL: Get started → Configure ADCM to use an external database.
Добавлено руководство по миграции данных из SQLite в PostgreSQL: How to → Manage ADCM → ADCM migration.
Обновлены Release notes.
Написана статья по модулям и плагинам Ansible: References → Ansible modules and plugins.
Добавлена информация про импорт/экспорт сервисов: Tutorials → Import/export of services.
Дана справка по открытию описания ADCM API: References → ADCM API.
В статьях добавлено указание авторов.
Учтены изменения для релиза ADPG 14.3.3 от 16.03.2023:
Описана балансировка нагрузки на базе HAProxy, доступная в Enterprise Edition ADPG: Concepts → Architecture → Load balancing, How to → Configure HA → Configure load balancing.
В рамках руководства по установке ADPG в статьях, посвященных добавлению сервисов и компонентов, добавлена информация про новый сервис Balancer.
Обновлен раздел, описывающий кластерные и сервисные действия ADPG: How to → Cluster management. Отмечены действия, доступные для Balancer; удалены действия, которые ранее использовались для установки расширений contrib и PostGIS (теперь они предустановлены в ADPG).
Отредактирована статья, описывающая работу с расширениями: How to → Work with extensions.
В рамках статьи References → Configuration parameters добавлены конфигурационные параметры для нового сервиса Balancer, а также убраны параметры, использовавшиеся для установки расширений.
Подготовлены Release notes.
Написана статья, посвященная логической репликации: How to → Configure HA → Logical replication.
Добавлено описание возможных сценариев использования ADPG: Concepts → ADPG overview → Use cases.
Добавлен блок статей, посвященных модели данных ADPG:
Существенно отредактированы и дополнены практическими примерами статьи, посвященные управлению доступом на уровне строк и столбцов:
Оредактирована и дополнена примерами статья об использовании псевдонимов (alias) таблиц и столбцов: How to → Data querying → Use tables and column aliases.
Исключены статьи:
Concepts → About — замена на более полную статью Concepts → ADPG overview → Use cases.
References → SQL — все полезные команды с подробными примерами описываются в рамках разделов How to и Concepts.
References → PostgreSQL cheatsheet — список полезных psql-команд перенесен в раздел How to → Connect to ADPG → psql.
В статьях добавлено указание авторов.
В первый релиз вошли следующие статьи на обоих языках:
Руководство по планированию кластера ADQM:
Planning guide → Hardware requirements — требования к оборудованию.
Planning guide → Network requirements — требования к сети.
Planning guide → Software requirements — требования к ПО.
Руководство по установке кластера ADQM через ADCM:
Get started → Online installation (с подразделами).
Get started → Offline installation (с подразделами).
Ключевые особенности ADQM как базы данных: Concepts → ADQM overview → Specific features.
Блок статей, посвященных архитектуре ADQM:
Concepts → Architecture → Overview — обзор архитектурной схемы.
Concepts → Architecture → Typical cluster — описание типового ADQM-кластера.
Concepts → Architecture → Geo-distributed cluster — примеры топологий геораспределенного кластера ADQM.
Concepts → Architecture → Sharding — основы шардирования.
Concepts → Architecture → Proxying — описание Chproxy.
Блок статей, посвященных модели данных ADQM:
Concepts → Data model → Databases — обзор движков БД.
Concepts → Data model → Tables → Table engines — обзор движков таблиц с перечислением особенностей основного семейства MergeTree.
Concepts → Data model → Tables → Basic syntax — описание базового табличного синтаксиса с большим количеством примеров.
Concepts → Data model → Tables → Row update & deletion — особенности обновления и удаления данных.
Описание возможных способов подключения к ADQM:
Доступные виды аутентификации:
Описание авторизации на основе RBAC: How to → Manage database access → Authorization.
Возможные действия, доступные для ADQM на уровне кластера и сервисов в ADCM:
Описание настройки SSL-шифрования: How to → Enable SSL encryption.
Список конфигурационных параметров, настраиваемых для сервисов ADQM в ADCM: References → Configuration parameters.
Подготовлены Release notes для релиза ADH 2.1.8.b3.
Добавлена статья, поясняющая принцип минорного/мажорного обновления бандлов ADH/ADPS — Tutorials → Cluster management via ADCM → Cluster actions → Upgrade.
Добавлены материалы по работе с FreeIPA:
Переведены и отредактированы статьи из References → Hadoop Command-line (с подразделами)
В статьях добавлено указание авторов.
Внесены следующие правки:
На страницу с программными требованиями Planning guide → Software requirements добавлена информация про ОС AltLinux 8 SP, минимальные версии Java и ADCM.
На странице Concepts → ADH architecture отредактирована подпись второго рисунка.
На главной продуктовой странице убран переключатель типов пользователей (ввиду небольшого числа статей для такого деления на данный момент).
Учтены изменения в релизе ADS 1.8.0.b1 от 02.02.2023:
Описана возможность удаления сервисов из кластера в Tutorials → ADS cluster management → Service actions.
Обновлены версии подерживаемых сервисов на странице Release notes → Supported services.
Добавлена информация о релизе в Release notes → ADS releases.
Добавлен блок статей с описанием авторизации для сервиса NiFi:
Расширена статья с описанием кластерных действий Tutorials → ADS cluster management → Cluster actions. В ней добавлено описание действий, которые становятся доступными после применения других действий (Create/Update/Delete user, Manage Basic Auth users и группа действий Disable).
Существующие статьи по авторизации реструктурированы:
Общая часть, касающаяся настройки различных способов авторизации и аудита для сервисов через ADPS, перенесена из How to → Kafka → Access management → Authorization → ADPS в Tutorials → Access management → Authorization → ADPS. Она включает следующие статьи:
В разделах How to → Kafka → Access management → Authorization и How to → NiFi → Access management → Authorization оставлены только описания, специфичные для сервисов Kafka и NiFi, соответственно. С общими статьями, перечисленными выше, они связаны перекрестными ссылками.
Внесены следующие правки:
Скорректировано описание действия Shrink для сервиса MiNiFi (в части описания DN для удаления).
Исправлена опечатка с двойным использованием /bin в одном из путей в статье How to → Kafka Connect → Mirror Maker 2.
В раздел How to → NiFi → UI overview добавлены статьи с обзором пользовательского интерфейса (UI) NiFi Server и NiFi Registry.
Добавлено описание аутентификации для сервиса NiFi: How to → NiFi → Access management → Authentication.
Учтены изменения в релизе ADS 1.7.2.b2 от 10.01.2023:
Добавлена статья Tutorials → Access management → Authentication → Basic с описанием Basic-аутентификации для сервисов Schema Registry, Kafka REST Proxy, KSQL.
Обновлены Release notes.
Существующие статьи по аутентификации реструктурированы:
Общая часть, касающаяся настройки различных способов аутентификации для сервисов через ADCM, перенесена из How to → Kafka → Access management → Authentication в Tutorials → Access management → Authentication. Она включает следующие статьи:
В разделах How to → Kafka → Access management → Authentication и How to → NiFi → Access management → Authentication оставлены только описания, специфичные для сервисов Kafka и NiFi, соответственно. С общими статьями, перечисленными выше, они связаны перекрестными ссылками.
В статьях добавлено указание авторов.
Обновлены Release notes в соответствии с релизом ADSCC 1.0.0.b2 от 10.01.2023.
В статьях добавлено указание авторов.
Добавлена возможность выбора языка, как для других продуктов (через переключатель в верхнем правом углу экрана). Существующие статьи переведены на русский язык. В последующем все новые статьи будут выпускаться сразу на двух языках.
Добавлена возможность выбора версии, как для других продуктов (через выпадающий список Select version в левой части экрана).
Произведена коррекция существующих статей: статьи приведены к единому виду в соответствии с внутренними style guides, внесены правки в содержимое некоторых статей на основе технического ревью.
Изменена структура статей в левом навигационном меню (TOC), а также на главной странице продукта:
Названия статей были расширены, чтобы пользователь однозначно понимал, в каком сервисе находится в случае перехода из окна поиска, а не из левого меню. Убраны повторяющиеся названия вида Example, How it works и так далее.
Названия статей в левом меню, в самих статьях, на главной странице и в перекрестных ссылках приведены к общему виду.
На главной странице существенно расширился состав статей для быстрого доступа. Перечень разделов приведен в соответствие с другими продуктами.
В левом меню все статьи, связанные с концепциями (архитектурные схемы, принципы работы) — перенесены из How to в раздел Concepts.
В левом меню в How to добавлены промежуточные разделы. Ранее все статьи размещались исключительно на верхнем уровне.
В левом меню в разделе Concepts убрано разбиение сервисов ADH на главные (Core) и прочие. Теперь все сервисы размещаются на верхнем уровне, как в How to. А все архитектурные схемы сведены в одну общую статью ADH architecture.
Добавлены новые материалы:
В Release notes добавлена информация по всем релизам ADH вплоть до 2.1.7.b1.
В How to → Hive → High availability добавлена статья про настройку HA (High Availability) для Hive.
В How to → Solr → Solr collections актуализированы команды по работе с коллекциями в Solr — описаны два пути: через скрипт /usr/lib/solr/bin/solr и утилиту solrctl.
Конфигурационные параметры всех сервисов ADH, настраиваемые через ADCM, сведены в одну общую статью References → Configuration parameters по аналогии с другими продуктами. Описаны параметры, добавленные в последних релизах.
Описаны изменения в релизе ADPG 14.3.2 от 29.12.2022:
Описана реализация High Availability (HA) на базе Patroni для Enterprise-версии ADPG: How to → Configure HA → Overview.
Описана offline-установка ADPG, доступная в Enterprise-версии ADPG: Get started → Offline installation (с подразделами).
Добавлено описание новых сервисных действий: Enable maintenance mode, Disable maintenance mode, Expand.
В руководстве по установке ADPG обновлены статьи, посвященные добавлению сервисов, распределению компонентов и установке кластера: приведено описание сервиса Etcd, обновлен пример распределения компонентов, обновлены конечные значения статусов сервисов.
В руководстве по установке ADPG обновлены статьи, связанные с мониторингом (online, offline): из описаний исключен сервис Monitoring Clients; описаны новая настройка Enable monitoring и кластерное действие Install monitoring agents. Измененный порядок настройки сервиса мониторинга приведен в следующих статьях: online, offline.
Изменена архитектурная схема в статье Concepts → Architecture. На схеме выделены новые компоненты, связанные с реализацией HA.
Обновлены конфигурационные параметры в разделе References → Configuration parameters. Добавлены параметры, связанные с реализацией HA (см. раздел ADPG → Patroni ADPG configurations).
Добавлены Release notes для нового релиза.
Добавлены новые статьи на тему формирования бэкапов БД:
Удалена статья с кратким описанием сервисных действий How to → Working with actions. Вместо нее созданы два новых раздела:
How to → Cluster management → Cluster actions — с описанием действий, доcтупных на уровне кластера.
How to → Cluster management → Service actions — с подразделами, в которых описаны сервисные действия (каждое на отдельной странице).
В Release notes добавлена информация о релизе 2022.12.26.18 от 26.12.2022.
Подготовлены статьи на обоих языках для первого релиза ADSCC (Arenadata Streaming Command Center) 1.0.0.b1 от 23.12.2022:
Get started → Online installation → ADS Command Center installation (с подразделами)
Get started → Offline installation → ADS Command Center installation (с подразделами)
Tutorials → ADS Command Center → ADSCC cluster management → Cluster actions
Tutorials → ADS Command Center → ADSCC cluster management → Service actions
Учтены изменения в релизе ADS 1.7.2.b1 от 06.12.2022:
В References → ADS configuration parameters добавлены новые конфигурационные параметры, доступные для сервисов ADS в UI ADCM.
Добавлена информация о релизе в статью Release notes → ADS releases.
Добавлены новые статьи:
Подготовлены статьи на обоих языках, описывающие изменения в релизе ADCM 2022.12.07.10 от 07.12.2022:
Добавлена статья How to → Access configuring → Audit → UI. Она описывает две новые вкладки в интерфейсе ADCM (Audit operations и Audit logins).
Статья Maintenance mode перенесена из Concepts → ADCM objects → Host → Maintenance mode в How to → Managing ADCM → Maintenance mode. Текст статьи дополнен информацией о MM для сервисов и компонентов ADCM.
В статью Concepts → UI overview добавлена информация о возможности загрузки логов на вкладке JOBS.
Информация о новом релизе добавлена в Release notes.
Добавлена статья How to → Creating a simple bundle.
Изменена структура Release notes по прошлым релизам — часть изменений из New features распределена по вкладкам Improvements и Misc/Internal.
Выпушен первый релиз документации, в который вошли следующие статьи на обоих языках:
Get started → Online installation (с подразделами)
Get started → Offline installation (с подразделами)
How to → Kafka → Access management → Authentication → Kerberos MIT KDC → Kerberos SASL
How to → Kafka → Access management → Authentication → Kerberos MIT KDC → SSL channel security
How to → Kafka → Access management → Authentication → Kerberos Active Directory → LDAP
How to → Kafka → Access management → Authorization → ADPS → Arenadata Platform Security installation
How to → Kafka → Access management → Authorization → ADPS → Ranger Kafka plugin
How to → Kafka → Access management → Authorization → ADPS → Ranger client side in Kafka
How to → Kafka → Access management → Authorization → ADPS → Audit management in Ranger
How to → Kafka → Access management → Authorization → AСL in Kafka
Tutorials → Cluster management → Service actions (с подразделами)
Выпушен первый релиз документации, в который вошли следующие статьи на обоих языках:
Добавлены новые статьи в раздел How to → Data querying на обоих языках:
Добавлены новые статьи (в обеих языковых версиях):
Реструктурирована и дополнена статья Manage database access → Authentication → Password authentication.
Изменена структура левого навигационного меню (с целью сокращения элементов на верхнем уровне):
Статьи, касающиеся доступов, переведены в общий раздел How to → Manage database access.
Статьи, касающиеся подключения к ADPG — в раздел How to → Connect to ADPG.
Статьи, касающиеся запросов к БД — в раздел How to → Data querying.
Ссылки на новые статьи добавлены на главную страницу продукта.
Реализована возможность выбора версии продукта в поле Select version.
Подготовлены статьи, описывающие изменения в релизе ADPG от 30.06.2022:
Новые конфигурационные параметры: effective_cache_size, maintenance_work_mem, work_mem, min_wal_size, max_wal_size, wal_keep_size, huge_pages, superuser_reserved_connections.
Реструктурированы статьи How to → Recommended ADPG settings и References → postgresql.conf. Вместо них оставлена единая статья References → Configuration parameters, содержащая описание всех параметров, настраиваемых для сервисов ADPG через ADCM.
Добавлена информация по логированию.
Обновлена статья Tutorials → Security → SSL → Requirements for SSL certificates.
Обновлен внешний вид русунков в разделе Tutorials → Security (размеры и эффект затемнения в темной теме).
Актуализированы Release Notes.
Название hadoop в ссылках на документацию изменено на ADH.