Настройка кластера

Ольга Семме, Дарья Барышева
ВАЖНО
В большинстве случаев кастомная настройка кластера не требуется — значения параметров можно оставить по умолчанию.

После добавления нового кластера можно выполнить его настройку. Для этого выполните шаги:

  1. Выберите кластер на странице Clusters. Для этого нажмите на имя кластера в столбце Name.

    Выбор кластера
    Выбор кластера

  2. Откройте вкладку Configuration на странице кластера. Вкладка Configuration состоит из трех подразделов: Primary configuration, Configuration groups, Ansible settings.

  3. Заполните необходимые конфигурационные параметры на нужной вкладке и нажмите Save.

Primary configuration

Вкладка Configuration → Primary configuration содержит основные конфигурационные параметры кластера.

Конфигурационные параметры кластера перечислены ниже:

  • Reliability control — параметры этой секции предназначены для настройки тайм-аута ожидания разблокировки пакетного менеджера DNF. Отображается, если активирован переключатель Show advanced в верхней части окна. В Ubuntu после перезагрузки хоста запускается обновление, что приводит к блокировке DNF.

    Имя Описание Значение по умолчанию

    retries

    Максимальное число повторных попыток

    40

    delay

    Тайм-аут между повторными попытками (в секундах)

    10

    timeout

    Тайм-аут проверки сетевых портов (в секундах)

    300

  • Пути к репозиториям, которые будут использованы в процессе установки в зависимости от операционной системы кластера (Ubuntu 22, Altlinux 10, Astra Linux, RedOS 7). На серверах кластера регистрируются только отмеченные репозитории.

    Репозитории
    Название репозитория Параметр Описание Значение по умолчанию

    monitoring

    desc

    Описание репозитория

    Monitoring components url

    url

    Путь к репозиторию Arenadata

    Указано в зависимости от ОС

    enabled

    Включает использование репозитория

    true

    ADS

    desc

    Описание репозитория

    ADS repository

    url

    Путь к репозиторию Arenadata

    Указано в зависимости от ОС

    enabled

    Включает использование репозитория

    true

    prometheus_repo

    desc

    Описание репозитория

    Prometheus repository

    url

    Путь к репозиторию Arenadata

    Указано в зависимости от ОС

    enabled

    Включает использование репозитория

    true

    arenadata_java

    desc

    Описание репозитория

    Arenadata repository for OpenJDK

    url

    Путь к репозиторию Arenadata

    Указано в зависимости от ОС

    enabled

    Включает использование репозитория. Если установить значение true перед действием Install, Add/Remove components или Update для кластера или сервиса, на хостах будет установлена последняя версия Java 17

    false

    ranger plugins

    desc

    Описание репозитория

    Arenadata Ranger plugins repository

    url

    Путь к репозиторию Arenadata

    Указано в зависимости от ОС

    enabled

    Включает использование репозитория

    true

  • Precheck packages — включает проверку доступности пакета перед установкой.

  • Docker registry url — указывает размещение Arenadata Docker Registry. Отображается, если активирован переключатель Show advanced в верхней части окна.

  • Znode path for cluster in Zookeeper service — путь Znode для кластера ADS в сервисе Zookeeper. Отображается, если активирован переключатель Show advanced в верхней части окна.

  • BASIC Authentication — конфигурация для аутентификации BASIC.

    Описание включения аутентификации приведено в статье Basic-аутентификация.

  • SASL_PLAINTEXT Authentication — конфигурация для аутентификации SASL PLAINTEXT.

    Описание включения аутентификации приведено в статье SASL PLAINTEXT.

  • Kerberos — конфигурация для аутентификации по протоколу Kerberos.

    Описание включения аутентификации приведено в статьях:

  • java.io.tmpdir — системное свойство Java, которое определяет, куда JVM записывает временные файлы.

  • Custom Java config — шаблон для пользовательской настройки конфигурационного файла, определяющего версии Java, которые используются для кластера и сервисов, а также пути установки. Этот параметр можно использовать для явного указания версии Java. Начиная с ADS 3.9.1.2.b1 используется для явного определения версии Java. Подробнее на странице Software Requirements — Java.

    • Раздел default — настраивает поведение по умолчанию при работе без указания конкретного сервиса.

    • Раздел autodetect — определяет алгоритм автоматического обнаружения различных версий Java. Для каждой версии (в настоящее время это 21) настраивается следующее:

      • env_var — специальная переменная окружения для этой версии (например, JAVA21_HOME).

      • paths — список путей для поиска установки Java.

    • Раздел services — определяет сервисы, для которых настроены конкретные версии Java. Настройки хранятся в отдельных YAML-файлах.

    AD runtime utils config template

     

    default:
  runtimes:
    java:
      version: "{{ java_default_version }}"
      env_var: JAVA_HOME

autodetect:
  runtimes:
    java:
      "8":
        env_var: JAVA8_HOME
        paths:
          - /usr/java/jdk1.8
          - /usr/java/jre1.8
          - /usr/lib/jvm/j2sdk1.8-oracle
          - /usr/lib/jvm/j2sdk1.8-oracle/jre
          - /usr/lib/jvm/java-8-oracle
          - /usr/lib/jdk8-latest
          - /usr/lib/jvm/java-1.8.0
          - /usr/lib/jvm/java-1.8.0-oracle
          - /usr/lib/jvm/bellsoft-java8-amd64
          - /usr/lib/jvm/java-arenadata-openjdk-8

      "17":
        env_var: JAVA17_HOME
        paths:
          - /usr/lib/jvm/bellsoft-java17-amd64
          - /usr/lib/jvm/bellsoft-java17
          - /usr/lib/jvm/liberica-jdk-17*
          - /usr/lib/jvm/liberica-jre-17*
          - /usr/lib/jvm/zulu-17*
          - /usr/lib/jvm/temurin-17*
          - /usr/lib/jvm/adoptopenjdk-17*
          - /usr/lib/jvm/jdk-17*
          - /usr/lib/jvm/java-17*
          - /usr/lib/jvm/openjdk-17*
          - /usr/lib/jvm/openjdk-17*
          - /opt/java/bellsoft-java17-amd64
          - /opt/java/temurin-17*
          - /usr/local/java/bellsoft-java17-amd64
          - /usr/lib/jvm/java-arenadata-openjdk-17
          - /usr/lib64/jvm/java-17*

      "21":
        env_var: JAVA21_HOME
        paths:
          - /usr/lib/jvm/java-21*
          - /usr/lib/jvm/jdk-21*
          - /usr/lib/jvm/java-arenadata-openjdk-21

      "23":
        env_var: JAVA23_HOME
        paths:
          - /usr/lib/jvm/bellsoft-java23-amd64
          - /usr/lib/jvm/bellsoft-java23
          - /usr/lib/jvm/liberica-jdk-23*
          - /usr/lib/jvm/liberica-jre-23*
          - /usr/lib/jvm/zulu-23*
          - /usr/lib/jvm/temurin-23*
          - /usr/lib/jvm/adoptopenjdk-23*
          - /usr/lib/jvm/jdk-23*
          - /usr/lib/jvm/java-23-openjdk
          - /usr/lib/jvm/openjdk-23*
          - /opt/java/bellsoft-java23-amd64
          - /opt/java/temurin-23*
          - /usr/local/java/bellsoft-java23-amd64
          - /usr/lib/jvm/java-arenadata-openjdk-23

      "24":
        env_var: JAVA24_HOME
        paths:
          - /usr/lib/jvm/bellsoft-java24-amd64
          - /usr/lib/jvm/bellsoft-java24
          - /usr/lib/jvm/liberica-jdk-24*
          - /usr/lib/jvm/liberica-jre-24*
          - /usr/lib/jvm/zulu-24*
          - /usr/lib/jvm/temurin-24*
          - /usr/lib/jvm/adoptopenjdk-24*
          - /usr/lib/jvm/jdk-24*
          - /usr/lib/jvm/java-24-openjdk
          - /usr/lib/jvm/openjdk-24*
          - /opt/java/bellsoft-java24-amd64
          - /opt/java/temurin-24*
          - /usr/local/java/bellsoft-java24-amd64
          - /usr/lib/jvm/java-arenadata-openjdk-24

services:
  ZOOKEEPER:
    path: /etc/zookeeper/conf/zookeeper-java.yaml
  KAFKA:
    path: /etc/kafka/conf/kafka-java.yaml
  KAFKA_CONTROLLER:
    path: /etc/kafka/conf/kafka-controller-java.yaml
  KAFKA_CONNECT:
    path: /etc/kafka-connect/config/kafka-connect-java.yaml
  CRUISE_CONTROL:
    path: /etc/cruise-control/conf/cruise-control-java.yaml
  KSQL:
    path: /etc/ksqldb/ksqldb-java.yaml
  KAFKA_REST:
    path: /etc/kafka-rest/kafka-rest-java.yaml
  SCHEMA_REGISTRY:
    path: /etc/schema-registry/schema-registry-java.yaml
  NIFI:
    path: /etc/nifi/conf/nifi-java.yaml
  NIFI_REGISTRY:
    path: /etc/nifi-registry/conf/nifi-registry-java.yaml
  MINIFI:
    path: /etc/minifi/conf/minifi-java.yaml
  MINIFI_C2:
    path: /etc/minifi-c2/conf/minific2-java.yaml
  NIFI2:
    path: /etc/nifi2/conf/nifi-java.yaml
  NIFI2_REGISTRY:
    path: /etc/nifi2-registry/conf/nifi-registry-java.yaml

  • Cluster UUID — отображает универсальный уникальный идентификатор кластера (universally unique identifier).

Конфигурирование кластера
Конфигурирование кластера

Configuration groups

Вкладка Configuration → Configuration groups предназначена для настройки конфиг-групп кластера.

Ansible settings

Вкладка Configuration → Ansible settings предназначена для ввода конфигурационных настроек Ansible на уровне кластера. Вкладка доступна начиная с версии ADCM 2.2.0.

Параметры Ansible
Имя Описание По умолчанию

forks

Число параллельных процессов, генерируемых при коммуникации с удаленными хостами

5
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней