Добавлены Release notes для новых версий ADB: 6.23.5.45 и 5.29.11.19.
Добавлены Release notes для новых версий ADB: 6.23.5.45 и 5.29.11.19.
Изменено название новой версии коннектора к ADQM/ClickHouse — с Tkhemali connector 2.0 на ADB ClickHouse Connector. Переименование произведено во всех статьях по коннектору:
В материалах по предыдущей версии коннектора Tkhemali 1.X произведена замена имени профиля Tkh на TKH. Имя профиля следует указывать заглавными буквами.
Добавлены Release notes для одной из предыдущих версий ADB Control — 3.1.3.
Актуализирован список конфигурационных параметров в соответствии с релизом ADQM 22.8.12.45:
Сервис ADQMDB:
В раздел SSL добавлены параметры Enable https, Enable tcp secure.
В разделе Engine описаны возможные значения для параметра System.
Раздел Clickhouse Keeper переименован в Clickhouse Keeper (integrated). В нем добавлен параметр Enable IPv6.
В разделе Limits изменено описание параметра Max concurrent threads, добавлены параметры Max server memory usage, Max thread pool size.
В раздел Network добавлены параметры Enable http, Enable tcp, ClickHouse tcp port.
В раздел Intra-cluster communication security добавлены параметры Interserver protocol, Interserver protocol’s port.
Добавлен новый раздел Kerberos configuration.
В раздел Log settings добавлены параметры Logging level, Log file size, MB, Log files count, metric_log, asynchronous_metric_log.
Добавлен новый раздел User password options.
Добавлен новый раздел Data compression.
В раздел Other добавлен параметр Time zone.
Сервис Chproxy:
Раздел Server configuration переименован в Network configuration. В нем добавлены новые параметры.
Добавлен новый раздел Proxy wildcarded users.
Описаны параметры для сервиса Clickhousekeeper.
Актуализированы описания конфигурационных параметров в статьях Concepts → Architecture → Proxying и How to → Enable SSL encryption.
В статье, посвященной добавлению сервисов во время установки ADQM, сервис Clickhousekeeper добавлен в таблицу со списком возможных сервисов.
Учтены изменения в релизе ADB 6.23.3.44 от 27.04.2023:
Описана новая версия коннектора к ADQM/ClickHouse — Tkhemali connector 2.0:
Во всех статьях проведена замена названия системы Arenadata DB Command Center (ADBCC) на Arenadata DB Control (ADB Control).
Информация о релизе добавлена в Release notes:
Добавлена информация про предыдущую версию коннектора Tkhemali 1.X, которой можно продолжать пользоваться во время эксплуатации новой версии в бета-режиме. По сравнению с прежней документацией, информация актуализирована, дополнена примерами и разбита на три раздела:
Учтены изменения в релизе ADBM 1.2.1 от 27.04.2023:
Описана новая вкладка Restores для просмотра запусков восстановления БД (действий Restore).
В статье про подключение к ADBM добавлена информация про необходимость смены пароля при входе пользователя в систему.
На всех рисунках проведена замена названия системы Arenadata DB Command Center (ADBCC) на Arenadata DB Control (ADB Control).
Добавлены Release notes.
Добавлено примечание с информацией про ограничения, действующие при сохранении конфигурации. См. блок CAUTION перед разделом Add a new configuration в статье Tutorials → Arenadata DB Backup Manager → Basic operations → Manage configurations.
Учтены изменения в релизе ADQM 22.8.12.45:
Добавлена информация о релизе в Release notes.
Добавлена информация про ОС Astra Linux в Planning guide → Software requirements.
Добавлен блок статей в раздел How to → Data querying → Query types:
Описание оператора JOIN — JOIN clause.
Описание работы со словарями — Dictionaries.
В раздел с описанием установки сервисных компонентов Get started → Online installation → Install ADQM cluster → Add components добавлено уточнение, что при установке компонента Clickhouse JDBC Bridge (опционально) необходимо добавить его на все хосты кластера, где установлен компонент Clickhouse Server.
Добавлены Release notes для релиза ADCM 2023.04.21.12.
Исключена лишняя команда ALTER USER из статьи Get started → Configure ADCM to use an external database.
Добавлен список Release Notes: Release notes → ADPS releases.
Добавлен список поддерживаемых сервисов: Release notes → Supported services.
Актуализирована статья со списком поддерживаемых сервисов: Release notes → Supported services.
Добавлена статья с описанием частых проблем, возникающих при настройке Kerberos с Active Directory, а также способы их решения: Tutorials → Security → Kerberos → MS Active Directory → AD Kerberos common problems.
Исправлена опечатка с сервисом Solr на втором рисунке в статье Concepts → Architecture and data model.
Учтены изменения в релизе ADS 1.8.1.b1:
В рамках статьи Tutorials → ADS cluster management → Service actions → Schema-Registry добавлено описание новых действий Expand и Shrink для сервиса Schema-Registry.
Описана возможность конфигурирования сервиса MiNiFi для группы хостов: Get started → Online installation → Install ADS cluster → Configure services → Configuration groups.
Описана возможность конфигурирования логирования (Log4j) на уровне сервисных компонентов: Get started → Online installation → Install ADS cluster → Configure services → Components.
По всей документации произведена замена имени сервиса KSQL на ksqlDB.
Обновлены версии сервисов Kafka Connect и ZooKeeper в Release notes → Supported services.
Обновлены Release notes.
В статье References → ADS configuration parameters добавлены: группа параметров Basic Auth properties для сервисов ksqlDB, Kafka REST Proxy, Schema-Registry; группа параметров MiNiFi Agent bootstrap.conf для сервиса MiNiFi.
Добавлена группа статей про работу с процессорами и группами процессов в NiFi:
Написана статья про работу с шаблонами в NiFi: How to → NiFi → Basic operations → Work with templates.
Описана работа с атрибутами в NiFi: How to → NiFi → Basic operations → Work with attributes.
Описаны возможности встроенного мониторинга в NiFi: How to → NiFi → Basic operations → Built-in monitoring.
Обновлены Release notes для релиза ADCM 2023.04.10.22.
В первый релиз вошли следующие статьи на обоих языках:
Руководство по установке кластера ADB через ADCM:
Get started → Online installation (с подразделами).
Get started → Offline installation (с подразделами).
Блок статей, посвященных модели данных ADB:
Обзор модели данных: Concepts → Data model.
Базы данных: Concepts → Data model → Databases & Schemas → Databases.
Схемы: Concepts → Data model → Databases & Schemas → Schemas.
Табличные пространства: Concepts → Data model → Tablespaces.
Описание spill-файлов и механизмов управления ими: Concepts → Data model → Spill files.
Блок статей, посвященных работе с таблицами:
Описание базового табличного синтаксиса с примерами и полезными запросами к системным таблицам: Concepts → Data model → Tables.
Обзор типов таблиц с рекомендациями по использованию каждого из них: Concepts → Data model → Tables → Table types.
Описание доступных алгоритмов сжатия данных с рекомендациями по использованию: Concepts → Data model → Tables → Data compression.
Обзор политик распределения данных (distribution) с рекомендациями и примерами корректного/некорректного распределения: Concepts → Data model → Tables → Distribution.
Введение в партиционирование с большим количеством примеров: Concepts → Data model → Tables → Partitioning.
Обзор серверных конфигурационных параметров (Global User Configuration, GUC): Concepts → DBMS basics → Configure via GUC.
Список конфигурационных параметров, настраиваемых для сервисов ADB в ADCM: References → Configuration parameters.
Release notes с разбивкой по сервисам:
В первый релиз вошли следующие статьи на обоих языках:
Обзор функционала, архитектуры решения и основных концепций: Tutorials → Arenadata Database Backup Manager → Overview.
Описание подключения к ADBM через web-интерфейс: Tutorials → Arenadata Database Backup Manager → Connect to ADBM.
Настройка конфигураций, используемых для формирования бэкапов и других кластерных действий: Tutorials → Arenadata Database Backup Manager → Basic operations → Manage configurations.
Запуск кластерных действий: Tutorials → Arenadata Database Backup Manager → Basic operations → Work with backups → Run actions.
Просмотр списка бэкапов и деталей по каждому бэкапу: Tutorials → Arenadata Database Backup Manager → Basic operations → Work with backups → View backups.
Просмотр списка действий и деталей по каждому действию: Tutorials → Arenadata Database Backup Manager → Basic operations → View actions.
Учтены изменения для релиза 2023.03.27.20:
Описана возможность использования PostgreSQL: Get started → Configure ADCM to use an external database.
Добавлено руководство по миграции данных из SQLite в PostgreSQL: How to → Manage ADCM → ADCM migration.
Обновлены Release notes.
Написана статья по модулям и плагинам Ansible: References → Ansible modules and plugins.
Добавлена информация про импорт/экспорт сервисов: Tutorials → Import/export of services.
Дана справка по открытию описания ADCM API: References → ADCM API.
В статьях добавлено указание авторов.
Учтены изменения для релиза ADPG 14.3.3 от 16.03.2023:
Описана балансировка нагрузки на базе HAProxy, доступная в Enterprise Edition ADPG: Concepts → Architecture → Load balancing, How to → Configure HA → Configure load balancing.
В рамках руководства по установке ADPG в статьях, посвященных добавлению сервисов и компонентов, добавлена информация про новый сервис Balancer.
Обновлен раздел, описывающий кластерные и сервисные действия ADPG: How to → Cluster management. Отмечены действия, доступные для Balancer; удалены действия, которые ранее использовались для установки расширений contrib и PostGIS (теперь они предустановлены в ADPG).
Отредактирована статья, описывающая работу с расширениями: How to → Work with extensions.
В рамках статьи References → Configuration parameters добавлены конфигурационные параметры для нового сервиса Balancer, а также убраны параметры, использовавшиеся для установки расширений.
Подготовлены Release notes.
Написана статья, посвященная логической репликации: How to → Configure HA → Logical replication.
Добавлено описание возможных сценариев использования ADPG: Concepts → ADPG overview → Use cases.
Добавлен блок статей, посвященных модели данных ADPG:
Существенно отредактированы и дополнены практическими примерами статьи, посвященные управлению доступом на уровне строк и столбцов:
Оредактирована и дополнена примерами статья об использовании псевдонимов (alias) таблиц и столбцов: How to → Data querying → Use tables and column aliases.
Исключены статьи:
Concepts → About — замена на более полную статью Concepts → ADPG overview → Use cases.
References → SQL — все полезные команды с подробными примерами описываются в рамках разделов How to и Concepts.
References → PostgreSQL cheatsheet — список полезных psql-команд перенесен в раздел How to → Connect to ADPG → psql.
В статьях добавлено указание авторов.
В первый релиз вошли следующие статьи на обоих языках:
Руководство по планированию кластера ADQM:
Planning guide → Hardware requirements — требования к оборудованию.
Planning guide → Network requirements — требования к сети.
Planning guide → Software requirements — требования к ПО.
Руководство по установке кластера ADQM через ADCM:
Get started → Online installation (с подразделами).
Get started → Offline installation (с подразделами).
Ключевые особенности ADQM как базы данных: Concepts → ADQM overview → Specific features.
Блок статей, посвященных архитектуре ADQM:
Concepts → Architecture → Overview — обзор архитектурной схемы.
Concepts → Architecture → Typical cluster — описание типового ADQM-кластера.
Concepts → Architecture → Geo-distributed cluster — примеры топологий геораспределенного кластера ADQM.
Concepts → Architecture → Sharding — основы шардирования.
Concepts → Architecture → Proxying — описание Chproxy.
Блок статей, посвященных модели данных ADQM:
Concepts → Data model → Databases — обзор движков БД.
Concepts → Data model → Tables → Table engines — обзор движков таблиц с перечислением особенностей основного семейства MergeTree.
Concepts → Data model → Tables → Basic syntax — описание базового табличного синтаксиса с большим количеством примеров.
Concepts → Data model → Tables → Row update & deletion — особенности обновления и удаления данных.
Описание возможных способов подключения к ADQM:
Доступные виды аутентификации:
Описание авторизации на основе RBAC: How to → Manage database access → Authorization.
Возможные действия, доступные для ADQM на уровне кластера и сервисов в ADCM:
Описание настройки SSL-шифрования: How to → Enable SSL encryption.
Список конфигурационных параметров, настраиваемых для сервисов ADQM в ADCM: References → Configuration parameters.
Подготовлены Release notes для релиза ADH 2.1.8.b3.
Добавлена статья, поясняющая принцип минорного/мажорного обновления бандлов ADH/ADPS — Tutorials → Cluster management via ADCM → Cluster actions → Upgrade.
Добавлены материалы по работе с FreeIPA:
Переведены и отредактированы статьи из References → Hadoop Command-line (с подразделами)
В статьях добавлено указание авторов.
Внесены следующие правки:
На страницу с программными требованиями Planning guide → Software requirements добавлена информация про ОС AltLinux 8 SP, минимальные версии Java и ADCM.
На странице Concepts → ADH architecture отредактирована подпись второго рисунка.
На главной продуктовой странице убран переключатель типов пользователей (ввиду небольшого числа статей для такого деления на данный момент).
Учтены изменения в релизе ADS 1.8.0.b1 от 02.02.2023:
Описана возможность удаления сервисов из кластера в Tutorials → ADS cluster management → Service actions.
Обновлены версии подерживаемых сервисов на странице Release notes → Supported services.
Добавлена информация о релизе в Release notes → ADS releases.
Добавлен блок статей с описанием авторизации для сервиса NiFi:
Расширена статья с описанием кластерных действий Tutorials → ADS cluster management → Cluster actions. В ней добавлено описание действий, которые становятся доступными после применения других действий (Create/Update/Delete user, Manage Basic Auth users и группа действий Disable).
Существующие статьи по авторизации реструктурированы:
Общая часть, касающаяся настройки различных способов авторизации и аудита для сервисов через ADPS, перенесена из How to → Kafka → Access management → Authorization → ADPS в Tutorials → Access management → Authorization → ADPS. Она включает следующие статьи:
В разделах How to → Kafka → Access management → Authorization и How to → NiFi → Access management → Authorization оставлены только описания, специфичные для сервисов Kafka и NiFi, соответственно. С общими статьями, перечисленными выше, они связаны перекрестными ссылками.
Внесены следующие правки:
Скорректировано описание действия Shrink для сервиса MiNiFi (в части описания DN для удаления).
Исправлена опечатка с двойным использованием /bin в одном из путей в статье How to → Kafka Connect → Mirror Maker 2.
В раздел How to → NiFi → UI overview добавлены статьи с обзором пользовательского интерфейса (UI) NiFi Server и NiFi Registry.
Добавлено описание аутентификации для сервиса NiFi: How to → NiFi → Access management → Authentication.
Учтены изменения в релизе ADS 1.7.2.b2 от 10.01.2023:
Добавлена статья Tutorials → Access management → Authentication → Basic с описанием Basic-аутентификации для сервисов Schema Registry, Kafka REST Proxy, KSQL.
Обновлены Release notes.
Существующие статьи по аутентификации реструктурированы:
Общая часть, касающаяся настройки различных способов аутентификации для сервисов через ADCM, перенесена из How to → Kafka → Access management → Authentication в Tutorials → Access management → Authentication. Она включает следующие статьи:
В разделах How to → Kafka → Access management → Authentication и How to → NiFi → Access management → Authentication оставлены только описания, специфичные для сервисов Kafka и NiFi, соответственно. С общими статьями, перечисленными выше, они связаны перекрестными ссылками.
В статьях добавлено указание авторов.
Обновлены Release notes в соответствии с релизом ADSCC 1.0.0.b2 от 10.01.2023.
В статьях добавлено указание авторов.
Добавлена возможность выбора языка, как для других продуктов (через переключатель в верхнем правом углу экрана). Существующие статьи переведены на русский язык. В последующем все новые статьи будут выпускаться сразу на двух языках.
Добавлена возможность выбора версии, как для других продуктов (через выпадающий список Select version в левой части экрана).
Произведена коррекция существующих статей: статьи приведены к единому виду в соответствии с внутренними style guides, внесены правки в содержимое некоторых статей на основе технического ревью.
Изменена структура статей в левом навигационном меню (TOC), а также на главной странице продукта:
Названия статей были расширены, чтобы пользователь однозначно понимал, в каком сервисе находится в случае перехода из окна поиска, а не из левого меню. Убраны повторяющиеся названия вида Example, How it works и так далее.
Названия статей в левом меню, в самих статьях, на главной странице и в перекрестных ссылках приведены к общему виду.
На главной странице существенно расширился состав статей для быстрого доступа. Перечень разделов приведен в соответствие с другими продуктами.
В левом меню все статьи, связанные с концепциями (архитектурные схемы, принципы работы) — перенесены из How to в раздел Concepts.
В левом меню в How to добавлены промежуточные разделы. Ранее все статьи размещались исключительно на верхнем уровне.
В левом меню в разделе Concepts убрано разбиение сервисов ADH на главные (Core) и прочие. Теперь все сервисы размещаются на верхнем уровне, как в How to. А все архитектурные схемы сведены в одну общую статью ADH architecture.
Добавлены новые материалы:
В Release notes добавлена информация по всем релизам ADH вплоть до 2.1.7.b1.
В How to → Hive → High availability добавлена статья про настройку HA (High Availability) для Hive.
В How to → Solr → Solr collections актуализированы команды по работе с коллекциями в Solr — описаны два пути: через скрипт /usr/lib/solr/bin/solr и утилиту solrctl.
Конфигурационные параметры всех сервисов ADH, настраиваемые через ADCM, сведены в одну общую статью References → Configuration parameters по аналогии с другими продуктами. Описаны параметры, добавленные в последних релизах.
Описаны изменения в релизе ADPG 14.3.2 от 29.12.2022:
Описана реализация High Availability (HA) на базе Patroni для Enterprise-версии ADPG: How to → Configure HA → Overview.
Описана offline-установка ADPG, доступная в Enterprise-версии ADPG: Get started → Offline installation (с подразделами).
Добавлено описание новых сервисных действий: Enable maintenance mode, Disable maintenance mode, Expand.
В руководстве по установке ADPG обновлены статьи, посвященные добавлению сервисов, распределению компонентов и установке кластера: приведено описание сервиса Etcd, обновлен пример распределения компонентов, обновлены конечные значения статусов сервисов.
В руководстве по установке ADPG обновлены статьи, связанные с мониторингом (online, offline): из описаний исключен сервис Monitoring Clients; описаны новая настройка Enable monitoring и кластерное действие Install monitoring agents. Измененный порядок настройки сервиса мониторинга приведен в следующих статьях: online, offline.
Изменена архитектурная схема в статье Concepts → Architecture. На схеме выделены новые компоненты, связанные с реализацией HA.
Обновлены конфигурационные параметры в разделе References → Configuration parameters. Добавлены параметры, связанные с реализацией HA (см. раздел ADPG → Patroni ADPG configurations).
Добавлены Release notes для нового релиза.
Добавлены новые статьи на тему формирования бекапов БД:
Удалена статья с кратким описанием сервисных действий How to → Working with actions. Вместо нее созданы два новых раздела:
How to → Cluster management → Cluster actions — с описанием действий, доcтупных на уровне кластера.
How to → Cluster management → Service actions — с подразделами, в которых описаны сервисные действия (каждое на отдельной странице).
В Release notes добавлена информация о релизе 2022.12.26.18 от 26.12.2022.
Подготовлены статьи на обоих языках для первого релиза ADSCC (Arenadata Streaming Command Center) 1.0.0.b1 от 23.12.2022:
Get started → Online installation → ADS Command Center installation (с подразделами)
Get started → Offline installation → ADS Command Center installation (с подразделами)
Tutorials → ADS Command Center → ADSCC cluster management → Cluster actions
Tutorials → ADS Command Center → ADSCC cluster management → Service actions
Учтены изменения в релизе ADS 1.7.2.b1 от 06.12.2022:
В References → ADS configuration parameters добавлены новые конфигурационные параметры, доступные для сервисов ADS в UI ADCM.
Добавлена информация о релизе в статью Release notes → ADS releases.
Добавлены новые статьи:
Подготовлены статьи на обоих языках, описывающие изменения в релизе ADCM 2022.12.07.10 от 07.12.2022:
Добавлена статья How to → Access configuring → Audit → UI. Она описывает две новые вкладки в интерфейсе ADCM (Audit operations и Audit logins).
Статья Maintenance mode перенесена из Concepts → ADCM objects → Host → Maintenance mode в How to → Managing ADCM → Maintenance mode. Текст статьи дополнен информацией о MM для сервисов и компонентов ADCM.
В статью Concepts → UI overview добавлена информация о возможности загрузки логов на вкладке JOBS.
Информация о новом релизе добавлена в Release notes.
Добавлена статья How to → Creating a simple bundle.
Изменена структура Release notes по прошлым релизам — часть изменений из New features распределена по вкладкам Improvements и Misc/Internal.
Выпушен первый релиз документации, в который вошли следующие статьи на обоих языках:
Get started → Online installation (с подразделами)
Get started → Offline installation (с подразделами)
How to → Kafka → Access management → Authentication → Kerberos MIT KDC → Kerberos SASL
How to → Kafka → Access management → Authentication → Kerberos MIT KDC → SSL channel security
How to → Kafka → Access management → Authentication → Kerberos Active Directory → LDAP
How to → Kafka → Access management → Authorization → ADPS → Arenadata Platform Security installation
How to → Kafka → Access management → Authorization → ADPS → Ranger Kafka plugin
How to → Kafka → Access management → Authorization → ADPS → Ranger client side in Kafka
How to → Kafka → Access management → Authorization → ADPS → Audit management in Ranger
How to → Kafka → Access management → Authorization → AСL in Kafka
Tutorials → Cluster management → Service actions (с подразделами)
Выпушен первый релиз документации, в который вошли следующие статьи на обоих языках:
Добавлены новые статьи в раздел How to → Data querying на обоих языках:
Добавлены новые статьи (в обеих языковых версиях):
Реструктурирована и дополнена статья Manage database access → Authentication → Password authentication.
Изменена структура левого навигационного меню (с целью сокращения элементов на верхнем уровне):
Статьи, касающиеся доступов, переведены в общий раздел How to → Manage database access.
Статьи, касающиеся подключения к ADPG — в раздел How to → Connect to ADPG.
Статьи, касающиеся запросов к БД — в раздел How to → Data querying.
Ссылки на новые статьи добавлены на главную страницу продукта.
Реализована возможность выбора версии продукта в поле Select version.
Подготовлены статьи, описывающие изменения в релизе ADPG от 30.06.2022:
Новые конфигурационные параметры: effective_cache_size, maintenance_work_mem, work_mem, min_wal_size, max_wal_size, wal_keep_size, huge_pages, superuser_reserved_connections.
Реструктурированы статьи How to → Recommended ADPG settings и References → postgresql.conf. Вместо них оставлена единая статья References → Configuration parameters, содержащая описание всех параметров, настраиваемых для сервисов ADPG через ADCM.
Добавлена информация по логированию.
Обновлена статья Tutorials → Security → SSL → Requirements for SSL certificates.
Обновлен внешний вид русунков в разделе Tutorials → Security (размеры и эффект затемнения в темной теме).
Актуализированы Release Notes.
Название hadoop в ссылках на документацию изменено на ADH.