Конфигурационные параметры

Содержание

В этой статье описаны параметры, которые могут быть настроены для сервисов ADQM Control через ADCM. Процесс настройки сервисов приведен в статье Настройка сервисов раздела Online-установка ADQM Control.

ПРИМЕЧАНИЕ
Некоторые из перечисленных параметров становятся доступны в UI ADCM после установки флага Show advanced.

ADQM Control

ADQM management

 

Параметр Описание Значение по умолчанию

ADQM username

Имя пользователя для подключения к ADQM

adqmc

ADQM user password

Пароль пользователя ADQM username для подключения к ADQM

 — 

ADQM default port

Порт по умолчанию, если он не экспортируется из кластера ADQM

9000

ADQM secure port

Порт по умолчанию для SSL-защищенных соединений с ADQM, если он не экспортируется из кластера ADQM

9440

Connection type

Тип соединения (незащищенное или безопасное) между ADQM Control и ADQM. Возможные значения: Insecure (TCP), Secure (TCP secure)

Insecure (TCP)

ПРИМЕЧАНИЕ

Аккаунт пользователя, имя и пароль которого указываются в параметрах ADQM username и ADQM user password, должен существовать в ADQM. При создании нового кластера ADQM по умолчанию предоставляется аккаунт пользователя default без пароля — этот аккаунт можно использовать в ADQM Control, но предварительно необходимо назначить ему пароль. Однако рекомендуется создать в ADQM отдельный аккаунт пользователя для подключения ADQM Control, например:

CREATE USER adqmc ON CLUSTER default_cluster IDENTIFIED WITH sha256_password BY 'qwerty123';
GRANT ON CLUSTER default_cluster SELECT ON *.* TO adqmc;
SSL configuration
ПРИМЕЧАНИЕ

В статье Шифрование SSL приведен пример, как настроить и включить SSL для сервисных компонентов ADQM Control.

Параметр Описание Значение по умолчанию

[ADQM Control’s Backend] → Enable SSL

Включает SSL для компонента Backend

Неактивен

[ADQM Control’s ADQM Agent] → Enable SSL

Включает SSL для компонента Agents

Неактивен

[ADQM Control’s Alert Generator] → Enable SSL

Включает SSL для компонента Alert Generator

Неактивен

[ADQM Control’s Alert Receiver] → Enable SSL

Включает SSL для компонента Alert Receiver

Неактивен

[Alertmanager] → Enable SSL

Включает SSL для компонента Alertmanager

Неактивен

[ADQM Control Services] → Certificate file

Путь к файлу серверного SSL-сертификата для компонентов Backend, Agents, Alert Generator, Alert Receiver

/etc/adqmc/server.crt

[ADQM Control Services] → Private key file

Путь к файлу закрытого ключа серверного SSL-сертификата для компонентов Backend, Agents, Alert Generator, Alert Receiver

/etc/adqmc/server.key

[ADQM Control Services] → Certificate authority file

Путь к файлу корневого сертификата центра сертификации для компонентов Backend, Agents, Alert Generator, Alert Receiver

/etc/adqmc/ca.crt

[Alertmanager] → Certificate file

Путь к файлу серверного SSL-сертификата для компонента Alertmanager

/etc/admprom/alert-manager/server.crt

[Alertmanager] → Private key file

Путь к файлу закрытого ключа серверного SSL-сертификата для компонента Alertmanager

/etc/admprom/alert-manager/server.key

[Alertmanager] → Certificate authority file

Путь к файлу корневого сертификата центра сертификации для компонента Alertmanager

/etc/admprom/alert-manager/ca.crt

Network configuration

 

Параметр Описание Значение по умолчанию

Backend port

Порт доступа к web-интерфейсу ADQM Control

5555

Alert Generator port

Порт доступа к сервису Alert generator

5001

ADQM agent port

Порт доступа к сервису Agents

5002

Alertmanager port

Порт доступа к сервису Alert manager

9093

Alert Receiver port

Порт доступа к сервису Alert receiver

12322

Connection settings

 

Параметр Описание Значение по умолчанию

Backend connection pool size

Максимальное количество подключений к базе данных PostgreSQL сервиса Backend

8

ADQM agent connection pool size

Максимальное количество подключений к базе данных PostgreSQL сервиса Agents

8

Polling rate

 

Параметр Описание Значение по умолчанию

Confd update interval

Частота проверки изменений в конфигурационных файлах сервисов (в секундах)

30

Hosts scrape interval

Частота обновления информации о топологии кластера ADQM (в секундах)

80

ADQMDB scrape interval

Частота обновления информации о таблицах в кластере ADQM (в секундах)

80

Query update interval

Частота сбора запросов (в секундах)

105

Query normalize interval

Частота обновления запросов (в секундах)

120

Limits

 

Параметр Описание Значение по умолчанию

Normalize query raw max queries per iteration

Максимальное количество запросов, нормализуемых за итерацию

50000

Collect queries limit

Количество запросов, полученных из query_log за итерацию

10000

Query normalize threshold

Количество попыток нормализации запроса

10

Existing tables tries

Количество попыток получить метрики таблицы ADQM. Если по истечении времени ADQMDB scrape interval * Existing tables tries ADQM Control не удалось получить метрики таблицы, эта таблица считается удаленной

3

Internal PostgreSQL server
ПРИМЕЧАНИЕ

Чтобы получить доступ к параметрам конфигурации, необходимо активировать опцию Use internal PostgreSQL server.

Параметр Описание Значение по умолчанию

Alerts dbname

Имя базы данных, которая будет создана для использования сервисами ADQM Control

adqmc

Alertsdb username

Имя пользователя, который имеет доступ к базе данных, указанной через параметр Alerts dbname

adqmc

Alertsdb password

Пароль пользователя Alertsdb username для доступа к базе данных Alerts dbname

 — 

External PostgreSQL server
ПРИМЕЧАНИЕ

Чтобы получить доступ к параметрам конфигурации, необходимо активировать опцию Use external PostgreSQL server.

Параметр Описание Значение по умолчанию

server_ip_port

Используйте Add property, чтобы указать IP-адрес и порт доступа к внешнему серверу PostgreSQL (названия свойств — host и port соответственно)

 — 

alerts_dbname

Имя базы данных для использования сервисами ADQM Control

adqmc

alertsdb_username

Имя пользователя с доступом к базе данных, указанной через параметр alerts_dbname

adqmc

alertsdb_password

Пароль пользователя alertsdb_username для доступа к базе данных alerts_dbname

 — 

SSL is used by an external server

Указывает, используется ли SSL внешним сервером

Неактивен

Zookeeper configuration

 

Параметр Описание Значение по умолчанию

zk_type

Указывает, какой кластер ZooKeeper используется в ADQM Control — внутренний (установленный через сервис Zookeeper в кластере ADQM Control) или внешний. Возможные значения: Internal Zookeeper, External Zokeeper

Internal Zookeeper

zk_hosts

Список хостов внешнего кластера ZooKeeper (например: host1.internal:2181,host2.internal:2181,host3.internal:2181). Необходимо указать, если параметр zk_type установлен в External Zokeeper

 — 

zk_prefix

Префикс для всех путей к узлам ZooKeeper (znodes), связанным с ADQM Control

/arenadata/adqm_control/<cluster_id>

SSL connection

Включает использование безопасного соединения с ZooKeeper

Неактивен

ADPG

Параметр Описание Значение по умолчанию

Data directory

Директории, используемые для хранения данных на хостах кластера ADPG

/pg_data1

ADPG configurations

 

РЕКОМЕНДАЦИЯ
Оптимальные значения параметров для лучшей производительности ADPG можно получить с помощью действия сервиса ADPG Collect recommendations.
Параметр Описание Значение по умолчанию

listen_addresses

Адреса TCP/IP, по которым сервер прослушивает подключения клиентских приложений

*

port

TCP-порт, который прослушивается сервером

5432

max_connections

Максимальное количество одновременных соединений с сервером базы данных

100

shared_buffers

Объем памяти, используемой сервером базы данных для буфера общей памяти. Целесообразное начальное значение данного параметра — 25% памяти системы

2048 MB

max_worker_processes

Максимальное количество фоновых процессов, которые может поддерживать система

23

max_parallel_workers

Максимальное количество операций, которые система может поддерживать параллельно

4

max_parallel_workers_per_gather

Максимальное количество операций, которые могут быть запущены одним узлом Gather или Gather Merge

2

max_parallel_maintenance_workers

Максимальное количество параллельных операций, которые могут быть запущены одной командой утилиты

2

effective_cache_size

Помогает планировщику запросов ADPG определить эффективный размер дискового кеша для одного запроса. Это учитывается при оценке стоимости использования индекса. Чем выше это значение, тем больше вероятность применения сканирования по индексу. Соответственно, чем ниже значение, тем более вероятно, что будет выбрано последовательное сканирование

6144 MB

maintenance_work_mem

Лимит памяти для операций обслуживания. Увеличение значения данного параметра может ускорить операции по очистке и восстановлению БД из копии

1024 MB

work_mem

Лимит памяти non-shared, который будет использоваться для внутренних операций при выполнении запросов (например, к временным таблицам) прежде, чем будут задействованы временные файлы на диске. Этот лимит действует как простой элемент управления ресурсами, предотвращая переход хоста в активную подкачку (swapping) из-за переполнения. Так как выделяемая память является памятью non-shared, то большие и сложные запросы могут превышать указанный лимит

5242 kB

min_wal_size

Пока WAL занимает на диске меньше объема, определенного в min_wal_size, старые файлы WAL в контрольных точках перерабатываются, а не удаляются. Это позволяет зарезервировать достаточно места для WAL, чтобы справиться с резкими скачками использования WAL, например, при выполнении больших пакетных задач

1024 MB

max_wal_size

Лимит памяти, до которого может вырастать размер журнала между автоматическими контрольными точками

4096 MB

wal_keep_size

Минимальный размер прошлых сегментов журнала, которые будут сохраняться в каталоге pg_wal, чтобы резервный сервер мог выбрать их при потоковой репликации. Если резервный сервер, подключенный к передающему, отстает больше чем на wal_keep_size МБ, передающий сервер может удалить сегменты WAL, все еще необходимые резервному, и в этом случае соединение репликации прервется. В результате этого также будут прерваны зависимые соединения. Однако, если архивация WAL включена, резервный сервер сможет восстановиться, выбрав этот сегмент из архива. Параметр wal_keep_size устанавливает только минимальный размер сегментов в pg_wal. Системе может потребоваться сохранить больше сегментов для архивации WAL или для восстановления после контрольной точки. Если wal_keep_size равен 0, система не хранит дополнительных сегментов для резервных целей, поэтому количество старых сегментов WAL, доступных резервным серверам, зависит от местоположения предыдущей контрольной точки и статуса архивирования WAL

0 MB

huge_pages

Включает использование больших страниц памяти. Возможные значения:

  • try — сервер пытается использовать большие страницы памяти. Если использовать большие страницы не удалось, сервер переключается на стандартные.

  • on — если сервер не сможет использовать большие страницы, он не будет запущен.

  • off — большие страницы не используются.

try

superuser_reserved_connections

Количество "слотов" подключений, которые сервер будет резервировать для суперпользователей

3

timescaledb.max_background_workers

Максимальное количество фоновых процессов, выделенных для TimescaleDB

16

wal_buffers

Объем разделяемой памяти, который будет использоваться для данных WAL, еще не записанных на диск

16 MB

default_statistics_target

Объем статистики по умолчанию для столбцов таблицы, для которых не указаны отдельные целевые значения статистики командой ALTER TABLE…​SET STATISTICS

100

random_page_cost

Параметр, использующийся планировщиком для оценки приблизительной стоимости чтения одной произвольной страницы с диска, извлекаемой непоследовательно

1.1

checkpoint_completion_target

Целевое время завершения контрольной точки как доля общего времени между контрольными точками

0.9

max_locks_per_transaction

Общая таблица блокировок отслеживает блокировки для max_locks_per_transaction * (max_connections + max_prepared_transactions) объектов (например, таблиц). Таким образом, в любой момент времени может быть заблокировано не больше этого числа различных объектов. Этот параметр управляет средним числом блокировок объектов, выделяемым для каждой транзакции. Отдельные транзакции могут заблокировать и больше объектов, если все они помещаются в таблице блокировок

128

autovacuum_max_workers

Максимальное число процессов автовакуума (не считая процесс, запускающий автовакуум), которые могут выполняться одновременно

10

autovacuum_naptime(seconds)

Минимальная задержка между двумя запусками автовакуума для отдельной базы данных. Демон автовакуума проверяет базу данных через указанный интервал времени и выполняет команды VACUUM и ANALYZE, когда это требуется для таблиц этой базы

10

default_toast_compression

Метод сжатия TOAST по умолчанию для значений сжимаемых столбцов. Возможные значения: lz4, pglz

lz4

effective_io_concurrency

Количество дисковых операций ввода-вывода, которые могут выполняться одновременно. Увеличение этого значения увеличит количество операций ввода-вывода, которые сессия PostgreSQL пытается инициировать параллельно

256

jit

Определяет, может ли PostgreSQL использовать JIT-компиляцию, если она поддерживается

off

logging_collector

Включает сборщик сообщений логирования (logging collector) — фоновый процесс, который перехватывает сообщения логирования, отправленные в stderr, и перенаправляет их в файлы логов

Активен

log_directory

Каталог, в который записываются лог-файлы. Может содержать абсолютный путь или путь относительно каталога с данными кластера ADPG

log (абсолютный путь — /pg_data1/adpg14/log)

log_filename

Шаблон имени лог-файла, может содержать спецификаторы % strftime для включения времени и даты создания в имя файла. Если спецификаторы % не указываются, используйте утилиты ротации лог-файлов, чтобы избежать переполнения диска

postgresql-%a.log

log_rotation_age

Максимальный период использования лог-файла, после которого создается новый лог-файл. Значение, указанное без единиц измерения, считается в минутах. Чтобы отключить создание лог-файлов по времени, установите значение 0

1d

log_rotation_size

Максимальный размер лог-файла. После того как лог-файл достигает указанного размера, создается новый лог-файл. Значение, указанное без единиц измерения, считается в килобайтах. Чтобы отключить создание лог-файлов при превышении определенного размера, установите значение 0

0

log_min_messages

Минимальный уровень важности сообщений, которые записываются в лог-файл. Возможные значения: debug5, debug4, debug3, debug2, debug1, info, notice, warning, error, log, fatal и panic (cм. таблицу Уровни важности лог-сообщений). Сообщения указанной важности и более важные записываются в лог-файл. Например, если установлено значение warning, лог-файл будет включать сообщения с важностью warning, error, log, fatal и panic

warning

log_min_error_statement

Определяет какие SQL-операторы, завершившиеся ошибкой, записываются в лог-файл. Возможные значения: debug5, debug4, debug3, debug2, debug1, info, notice, warning, error, log, fatal и panic (cм. таблицу Уровни важности лог-сообщений). SQL-оператор будет записан в лог-файл, если он завершится ошибкой с указанным уровнем важности или выше. Чтобы отключить логирование SQL-операторов, установите значение panic

error

Custom postgresql.conf

 

В секции Custom postgresql.conf можно установить дополнительные параметры, которые будут записаны в файл postgresql.conf. Для добавления параметра нажмите Add property.

Секция Custom postgresql.conf
Секция Custom postgresql.conf

В появившемся окне укажите название и значение параметра и нажмите Apply.

Окно добавления параметра
Окно добавления параметра

Вы можете добавить несколько параметров.

Shared preload libraries

 

Секция для установки параметра shared_preload_libraries конфигурации postgresql.conf. Для работы ADQM Control требуются расширения timescaledb и timescaledb_toolkit. Если необходимо добавить другие расширения (например, pg_stat_statements), используйте иконку plus one dark plus one light.

Секция Shared preload libraries
Секция Shared preload libraries
Custom pg_hba.conf

 

Поле для добавления записей в файл pg_hba.conf, в котором настраивается аутентификация пользователей.

SSL configuration
ПРИМЕЧАНИЕ

Подробная информация о поддержке шифрования SSL в ADQM Control приведена в статье Шифрование SSL.

Параметр Описание Значение по умолчанию

Enable SSL

Включает SSL-шифрование входящего трафика для сервиса ADPG

Неактивен

Certificate file

Путь к файлу серверного SSL-сертификата

/etc/adpg16/server.crt

Private key file

Путь к файлу закрытого ключа серверного SSL-сертификата

/etc/adpg16/server.key

Certificate authority file

Путь к файлу корневого сертификата центра сертификации (Certification Authority, CA)

/etc/adpg16/ca.crt

Zookeeper

Main

 

Параметр Описание Значение по умолчанию

connect

Строка подключения ZooKeeper, которая будет использоваться другими службами или кластерами. Генерируется автоматически

 — 

dataDir

Место, где ZooKeeper будет хранить снепшоты резидентной базы данных (in-memory database) и, если не указано иное, логи транзакций обновлений базы данных. Указывается как параметр dataDir в конфигурационном файле zoo.cfg

/var/lib/zookeeper

zoo.cfg

 

Параметр Описание Значение по умолчанию

clientPort

Порт для прослушивания клиентских подключений, то есть порт, к которому пытаются подключиться клиенты

2181

admin.serverPort

Порт, который прослушивает сервер Jetty

5181

admin.enableServer

Активирует Admin server — встроенный Jetty-сервер, предоставляющий HTTP-интерфейс к командам, состоящим из четырех букв

Неактивен

tickTime

Продолжительность одного тика (в миллисекундах), который является основной единицей времени, используемой ZooKeeper

2000

initLimit

Тайм-ауты (в тиках), которые ZooKeeper использует для ограничения времени, в течение которого серверы-последователи должны подключиться и синхронизироваться с лидером. Увеличивайте это значение по мере необходимости, если объем данных, которыми управляет ZooKeeper, большой

5

syncLimit

Количество времени (в тиках), в течение которого сервер должен синхронизироваться с ZooKeeper

2

maxClientCnxns

Максимальное количество активных подключений с одного хоста, указанного по IP-адресу, к одному узлу ансамбля ZooKeeper

0

autopurge.snapRetainCount

Когда функция автоматической очистки ZooKeeper включена, она сохраняет указанное количество последних снепшотов и соответствующие им логи транзакций в каталоги dataDir и dataLogDir соответственно, а остальные удаляет. Минимальное значение 3

3

autopurge.purgeInterval

Интервал времени (в часах), в течение которого должна быть запущена задача очистки. Установите целое положительное число, чтобы включить автоматическую очистку

24

Add key,value

Используйте это поле, чтобы указать дополнительные параметры, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в конфигурационном файле zoo.cfg

 — 

SSL configuration

 

Параметр Описание Значение по умолчанию

Enable SSL

Включает использование безопасных входящих соединений в ZooKeeper

Неактивен

sslQuorum

Включает SSL-шифрование кворумной коммуникации

Неактивен

serverCnxnFactory

Имя класса, реализующего ServerCnxnFactory. Чтобы использовать серверную коммуникацию на основе TLS, установите значение параметра NettyServerCnxnFactory

org.apache.zookeeper.server.NettyServerCnxnFactory

ssl.quorum.keyStore.location

Полный путь к серверному keystore-файлу

/etc/zookeeper/server.jks

ssl.quorum.keyStore.password

Пароль, используемый при создании keystore-файла, указанного в ssl.quorum.keyStore.location

 — 

ssl.quorum.trustStore.location

Полный путь к серверному truststore-файлу

/etc/zookeeper/ca.jks

ssl.quorum.trustStore.password

Пароль, используемый при создании truststore-файла, указанного в ssl.quorum.trustStore.location

 — 

ssl.keyStore.location

Полный путь к серверному keystore-файлу, который будет использоваться для клиентских TLS-подключений

/etc/zookeeper/server.jks

ssl.keyStore.password

Пароль, используемый при создании keystore-файла, указанного в ssl.keyStore.location

 — 

ssl.trustStore.location

Полный путь к серверному truststore-файлу, который будет использоваться для клиентских TLS-подключений

/etc/zookeeper/ca.jks

ssl.trustStore.password

Пароль, используемый при создании truststore-файла, указанного в ssl.trustStore.location

 — 

ssl.protocol

Протокол, используемый при TLS-рукопожатии в клиенте

TLSv1.2

ssl.quorum.protocol

Протокол, используемый при TLS-рукопожатии в кворуме

TLSv1.2

secureClientPort

Порт для защищенных клиентских соединений

2281

Metrics

 

Параметр Описание Значение по умолчанию

Listen port

Порт доступа к метрикам сервиса Zookeeper

9020

zookeeper-env.sh

 

Параметр Описание Значение по умолчанию

JAVA

Путь к Java

$JAVA_HOME/bin/java

ZOOPIDFILE

Каталог для хранения ID процесса ZooKeeper

/var/run/zookeeper/zookeeper_server.pid

ZOO_LOG_DIR

Каталог для хранения логов

/var/log/zookeeper

SERVER_JVMFLAGS

Используется для установки различных параметров JVM, связанных, например, со сборкой мусора

-Xmx1024m

Monitoring

Prometheus settings

 

Параметр Описание Значение по умолчанию

scrape_interval

Интервал сбора метрик

1m

scrape_timeout

Время ожидания данных

10s

Password for grafana connection

Пароль пользователя Grafana для подключения к Prometheus

 — 

Prometheus users to login/logout to Prometheus

Учетные данные пользователей для входа в веб-интерфейс Prometheus

 — 

Service parameters

Параметры Prometheus

 — 

Grafana settings

 

Параметр Описание Значение по умолчанию

Grafana administrator’s password

Пароль администратора Grafana

 — 

Grafana listen port

Порт доступа к web-интерфейсу Grafana

11210

Node Exporter settings

 

Параметр Описание Значение по умолчанию

Listen port

Порт доступа к системным метрикам хоста в формате Prometheus

11203

Metrics endpoint

Конечная точка (endpoint), в которую node exporter экспортирует системные метрики в формате Prometheus

/metrics

SSL configuration
Параметр Описание Значение по умолчанию

[Prometheus] → Enable SSL

Включает SSL-шифрование входящего трафика для компонента Prometheus Server

Неактивен

[Prometheus] → Certificate file

Путь к файлу серверного SSL-сертификата для компонента Prometheus Server

/etc/admprom/prometheus/server.crt

[Prometheus] → Private key file

Путь к файлу закрытого ключа серверного SSL-сертификата для компонента Prometheus Server

/etc/admprom/prometheus/server.key

[Prometheus] → Certificate authority file

Путь к файлу корневого сертификата центра сертификации для проверки ресурсов (targets), с которых поступают метрики для мониторинга в Prometheus

/etc/admprom/prometheus/ca.crt

[Grafana] → Enable SSL

Включает SSL-шифрование входящего трафика для компонента Grafana

Неактивен

[Grafana] → Certificate file

Путь к файлу серверного SSL-сертификата для компонента Grafana

/etc/admprom/grafana/server.crt

[Grafana] → Private key file

Путь к файлу закрытого ключа серверного SSL-сертификата для компонента Grafana

/etc/admprom/grafana/server.key

[Grafana] → Certificate authority file

Путь к файлу корневого сертификата центра сертификации для проверки сертификата Prometheus

/etc/admprom/grafana/ca.crt

[Node-exporter] → Enable SSL

Включает SSL-шифрование входящего трафика для компонента Node Exporter

Неактивен

[Node-exporter] → Certificate file

Путь к файлу серверного SSL-сертификата для компонента Node Exporter

/etc/ssl/server.crt

[Node-exporter] → Private key file

Путь к файлу закрытого ключа серверного SSL-сертификата для компонента Node Exporter

/etc/ssl/server.key

Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней