Программные требования

Дарья Барышева

Обзор

Программные требования для установки Arenadata DB приведены ниже:

  1. ADB поддерживает следующие операционные системы:

  2. Если ClickHouse или PostgreSQL используются в качестве внешних систем хранения для ADB Control/ADBM (см. Metrics DB и Query DB в статье Обзор Arenadata DB Control), требования к их версиям следующие:

    • ClickHouse 22.8 — 25.9

    • PostgreSQL 12.20

  3. ADB использует Docker в качестве платформы контейнеризации для части сервисов (например, ADB Control, ADBM) и для Enterprise Tools. ADB поддерживает версии Docker, поставляемые вендорами Linux для нужд своих операционных систем. Также есть возможность использования предустановленного Docker — путем установки флага Use existing docker во время конфигурирования кластера ADB.

    ВАЖНО

    Начиная с ADB 6.27.1.56 сервис ADB Control перезаписывает настройки Docker в файле /etc/docker/daemon.json в целях повышения безопасности. Поэтому при необходимости внесения изменений в этот файл используйте опцию Use existing docker при настройке кластера ADB. Эта опция также позволяет запускать Docker в режиме rootless.

  4. ADB использует Java 17 для некоторых сервисов (например, PXF, ADB Control, ADBM). Во всех операционных системах, кроме Astra Linux, дополнительная установка ПО не требуется: Java поставляется с основным репозиторием операционной системы. В Astra Linux перед установкой ADB необходимо установить Java на хостах кластера и прописать путь к ней в поле JAVA_HOME на этапе конфигурирования кластера ADB. Заполнение поля также требуется в других операционных системах в случае использования пути, отличного от дефолтного.

    Пути, используемые по умолчанию в поддерживаемых ОС, приведены ниже.

  • Ubuntu

  • РЕД ОС

  • AltLinux

/usr/lib/jvm/java-17-openjdk-amd64

/usr/lib/jvm/jre-17-openjdk

/usr/lib/jvm/jre-17

ВАЖНО

  • Если вы планируете использовать собственную Java (например, от Axiom), для установки требуется Java версии 17.

  • В Astra Linux заполнение поля JAVA_HOME обязательно начиная с версии ADB 6.27.1.58.

  1. Минимальная версия ADCM — 2.6.0.

  2. ADB требует наличия локали ОС en_US.UTF-8 на всех хостах кластера, при этом она необязательно должна быть выбрана по умолчанию. Эта локаль по умолчанию присутствует во всех поддерживаемых операционных системах, кроме Astra Linux. В Astra Linux локаль автоматически добавляется при установке ADB. Проверить доступные локали можно следующей командой:

    $ localectl list-locales

  3. Рекомендуется отключать антивирусные программы перед установкой и в течение процесса эксплуатации ADB. Если антивирус все же используется — пожалуйста, уточните настройки, необходимые для использования ADB, у поставщика вашего антивирусного ПО.

  4. При выборе имен объектов баз данных ADB следует использовать только латинские буквы и цифры. Не следует использовать следующие зарезервированные символы: ", &, ',   (пробел), (, ), ;, <, >, \, `, |. В случае наличия таких символов Arenadata DB Backup Manager не сможет снять бэкап/восстановить базу данных.

  5. При установке ADB бандл устанавливает необходимые права для конкретных файлов и директорий, создаваемых им, независимо от значения umask на хостах кластера.

  6. В процессе установки вносятся следующие изменения на уровне операционной системы. Не рекомендуется изменять перечисленные ниже объекты вручную.

    • Изменяются системные файлы:

      • /etc/hosts (опционально)

      • /etc/hostname (опционально)

      • /etc/chrony.conf (при установке Chrony)

      • /etc/ssh/sshd_config (всегда)

      • /etc/security/limits.conf (всегда)

    • Создается файл сервиса настройки cgroup v2 для ADB — /etc/systemd/system/cgroup_v2_gpdb.service;

    • Создаются новые файлы в директории /sys/fs/cgroup.

  7. В процессе установки ADB создается новый файл в /var/spool/cron/ для системного пользователя ADB (по умолчанию gpadmin). Доступ к изменению этого файла (crontab -e -u gpadmin) должен быть также у всех технических учетных записей. ADB добавляет в cron задачи по запуску скриптов для обслуживания кластера — изменять их расписание и аргументы нужно с помощью соответствующего раздела в конфигурационных параметрах ADB.

  8. В случае online-установки ADB (с доступом в Интернет) все хосты должны иметь доступ к репозиториям Arenadata, перечисленным на вкладке Configuration в меню кластера ADB web-интерфейса ADCM (см. поля Arenadata repo url и Monitoring repo url). Для offline-установки ADB необходимо обеспечить доступ к хосту, на котором развернут кластер Enterprise Tools.

  9. Для обоих видов установки (online и offline) необходимо обеспечить доступ к официальным репозиториям соответствующей операционной системы со всех хостов кластера (или создать локальные зеркала):

Требования для Astra Linux и Ubuntu

  1. ADB, подобно иным аналитическим СУБД, оптимизирована для работы с generic-ядрами. Использование ядер lowlatency может не обеспечить оптимальную производительность для задач, характерных для аналитической обработки данных. По этой причине для корректной работы ADB рекомендуется использовать исключительно generic-ядра.

  2. Необходимо учитывать совместимость версий.

ПРИМЕЧАНИЕ
ADB 6 была основана на механизме cgroup v1. Начиная с версии 7 ADB основана на cgroup v2, который используется по умолчанию во всех поддерживаемых операционных системах.

Предварительная настройка ОС

Ниже приведен список настроек операционной системы, которые необходимо выполнить для корректной работы ADB. Вы можете подготовить окружение вручную на всех хостах ADB или выбрать соответствующие конфигурационные параметры сервиса ADB, чтобы автоматически применить указанные настройки во время установки ADB.

Перед установкой ADB запустите действие Precheck, которое в том числе проверяет параметры операционной системы хостов.

Требование Название параметра в сервисе ADB

Файл /etc/hosts содержит доменные имена всех хостов кластера: мастера, резервного мастера и хостов и всех сегментов. Например:

192.168.1.10 mdw.example.com
192.168.1.20 smdw.example.com
192.168.1.30 sdw1.example.com
192.168.1.40 sdw2.example.com

Для сопоставления доменных имен также можно использовать DNS

Edit /etc/hosts

Отключена система Security Enhanced Linux (SELinux)

Disable linux security module (изменение параметра требует перезапуска хостов)

IPv6 отключен

Disable IPv6

Значение параметра MaxStartups в sshd равно 1000:30:1022

Set up MaxStartups for sshd

Отключена функция Transparent Huge Pages в ядре Linux

Set up GRUB for DBMS (изменение параметра требует перезапуска хостов)

В файле /etc/security/limits.conf для пользователя базы данных установлены следующие лимиты:

  • Мягкое и жесткое ограничение на количество открытых файловых дескрипторов равно 524288.

  • Мягкое и жесткое ограничение на количество процессов равно 150000.

Set up ulimits for DBMS user

Firewall отключен на хостах ADB

Disable firewall

В ядре применены следующие настройки (просмотреть все настройки ядра можно командой sysctl -a):

    kernel.core_pipe_limit = 0
    kernel.core_uses_pid = 1
    kernel.msgmax = 65536
    kernel.msgmnb = 65536
    kernel.msgmni = 2048
    kernel.sem = 250 2048000 200 8192
    kernel.shmmni = 4096
    kernel.sysrq = 1
    net.core.netdev_max_backlog = 10000
    net.core.rmem_max = 2097152
    net.core.wmem_max = 2097152
    net.ipv4.conf.all.arp_filter = 1
    net.ipv4.conf.default.accept_source_route = 0
    net.ipv4.ip_local_port_range = 12000 65535
    net.ipv4.ipfrag_high_thresh = 41943040
    net.ipv4.ipfrag_low_thresh = 31457280
    net.ipv4.ipfrag_time = 60
    net.ipv4.tcp_max_syn_backlog = 4096
    net.ipv4.tcp_syncookies = 1
    vm.dirty_background_bytes = 1610612736
    vm.dirty_background_ratio = 0
    vm.dirty_bytes = 4294967296
    vm.dirty_expire_centisecs = 500
    vm.dirty_ratio = 0
    vm.dirty_writeback_centisecs = 100
    vm.overcommit_memory = 2
    vm.overcommit_ratio = 95
    vm.swappiness = 10
    vm.zone_reclaim_mode = 0

Sysctl parameters
ВАЖНО

При изменении параметров Disable linux security module и Set up GRUB for DBMS установите значение true во флаге Reboot cluster servers after installation кластерного действия Install или Reinstall. В противном случае эти настройки не применятся к операционной системе хостов. Это может привести, в частности, к тому, что при запуске последующих кластерных действий (Expand, Move Host Segment или Init Standby Master) при установленном флаге Reboot new segment host after installation будут перезапущены все хосты, на которых не применились эти настройки, а не только новые, что может нарушить работу кластера.

Если по какой-то причине флаг Reboot cluster servers after installation не был установлен, рекомендуется остановить кластер и перезапустить хосты вручную, чтобы применились указанные настройки.
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней