Установка кластера мониторинга с помощью ADCM

Обзор пакета Мониторинг

Установочный пакет Мониторинг позволяет развернуть на выбранных хостах кластер мониторинга. Впоследствии к данному кластеру могут быть подключены другие кластеры, разворачиваемые с помощью Arenadata Cluster Manager. Это позволяет получить единую точку контроля за состоянием всех применяемых решений.

Кластер мониторинга включает в себя набор компонентов:

• Carbon — набор сервисов, отвечающий за получение метрик от сервисов кластеров и сохранение полученных данных в формате whisper
• Graphite — web-сервис, позволяющий выполнять запросы к базам данных whisper и визуализировать полученные данные
• Grafana — web-сервис, позволяющий создавать удобные наборы графиков и иных средств визуализации для каждого из сервисов, требующих мониторинга.
• Diamond — для сбора системных метрик с хостов кластера мониторинга.

Аппаратные требования:

Минимальные:

• CPU: 4 Cores
• RAM: 16GB
• ROM: 50GB

Рекомендуемые:

• CPU: 12 Cores
• RAM: 64GB
• ROM: Требуется провести сайзинг в зависимости от кол-ва метрик, формата хранения, ротации и кол-ва хостов. Для расчета возможно использовать калькулятор: https://m30m.github.io/whisper-calculator/

Для развертывания кластера мониторинга требуется:

1. Загрузить в менеджер кластеров ADCM пакет мониторинга
2. Создать экземпляр кластера мониторинга
3. Добавить сервисы
4. Произвести настройку сервисов
5. Добавить хосты, на которых будет производиться развертывание кластера мониторинга
6. Распределить компоненты выбранных сервисов кластера по добавленным хостам
7. Произвести конфигурацию параметров кластера
8. Запустить установку кластера

Загрузка пакета в менеджер кластеров

Загрузка пакета кластера мониторинга производится на вкладке BUNDLES менеджера кластеров с помощью кнопки “Upload bundle” (загрузить пакет). Пакет должен быть доступен для стандартного диалога выбора файлов операционной системы рабочей станции, на которой открыт web-интерфейс менеджера кластеров.

Создание экземпляра кластера мониторинга

Создание экземпляра кластера мониторинга производится на вкладке CLUSTERS с помощью кнопки “Add cluster” (Рис.1). В появившемся окне необходимо выбрать из выпадающего списка пакет кластера мониторинга, загруженный на предыдущем шаге, а также указать имя кластера и, опционально, описание. После подтверждения введенных данных нажатием кнопки “Save”, созданный кластер появится в списке на вкладке CLUSTERS.

Рис. 1. Создание кластера

Добавление сервисов

Нажав на строку с только что созданным кластером мы попадаем на страницу его конфигурации. На вкладке Services представлен изначально пустой список сервисов, необходимых для установки. Выбрать сервисы из списка доступных в пакете можно нажав на кнопку “Add services”. После этого будет предложен диалог с возможностью отметить флажками необходимые сервисы: Grafana, Graphite, Diamond. Подтвердить свой выбор необходимо кнопкой “Add”.

Внимание! Удалить из кластера добавленный сервис невозможно.

Конфигурация сервисов

Чтобы произвести конфигурацию одного из добавленных сервисов, необходимо нажать на его строку в списке (Рис.2).

Рис. 2. Конфигурация сервиса на примере Grafana

Конфигурационные параметры сервиса Grafana:

• Username — имя пользователя с правами администратора для доступа к web-интерфейсу, создаваемого при установке
• Password — пароль для этого пользователя. Поле обязательно для заполнения.
• Confirm password — подтверждение пароля, для проверки правильности ввода
• Allow sign up — разрешить пользователям регистрироваться самостоятельно
• Anonymous enabled — разрешить просмотр рабочих столов без аутентификации
• Host IP address — IP-адрес, по которому будет доступен web-интерфейс Grafana. Поле заполняется автоматически в процессе установки.
• Port — порт, по которому будет доступен данный web-интерфейс
• Plugins — список имен пакетов расширений grafana, которые будут загружены в процессе установки.
• Default UI theme — тема оформления интерфейса по-умолчанию. Доступны темная (dark) и светлая (light).

Конфигурационные параметры сервера Graphite:

• Data storage - путь, по которому сервисы carbon будут сохранять метрики. Помните, что хранение метрик требует много дискового пространства.
• Host IP address - IP-адрес, на котором будут доступны сервисы graphite: carbon-relay для приема метрик от внешних сервисов и graphite-web web-интерфейс Graphite. Поле заполняется автоматически в процессе установки.
• Port - порт, который будет прослушивать сервис carbon-relay.

Настройка SMTP для сервера Graphite:

• SMTP host and port - IP-адрес или DNS имя smtp сервера и порт подключения.
• SMTP username - Имя пользователя для авторизации на smtp сервер, использование доменного имени зависит от сервера smtp.
• SMTP password - Пароль пользователя.

Добавление хостов

Рис. 3. Добавление хостов

Для установки кластера мониторинга необходим минимум один хост. Также возможно размещение сервисов graphite и grafana на двух разных хостах. Хосты должны быть добавлены на вкладке Hosts кластера с помощью кнопки Add hosts. Процесс создания и инициализации хостов выходит за рамки данного руководства.

Распределение компонентов сервисов по хостам

Рис. 4. Распределение компонентов сервисов по хостам

На вкладке “Hosts - Components” необходимо разместить компоненты выбранных для установки сервисов на добавленных хостах. Для этого необходимо нажать на компонент сервиса, а затем на хост, которые необходимо связать между собой. Обязательно необходимо расместить один компонент сервиса Graphite и один компонент сервиса Grafana. После внесения в схему изменений необходимо нажать на кнопку “Save”.

Конфигурация параметров кластера

Рис. 5. Конфигурационные параметры кластера

На вкладке Configuration доступны конфигурационные параметры кластера:

• Arenadata Monitoring repo — rpm-репозиторий, содержащий предварительно собранные пакеты, необходимые для установки кластера.
• ADCM Host — IP-адрес, по которому будет доступен хост менеджера кластеров (ADCM) для хостов кластера мониторинга для отправки уведомлений о состоянии установленных на них компонентов.
• ADCM Port — порт, на котором запущен менеджер кластеров.

Установка кластера

Рис. 6. Кластер готов к началу установки

Если конфигурация выполнена корректно, на верхней панели действий кластера станет доступна кнопка Install (Установка) (Рис.6). Если были допущены ошибки, на соответствующих вкладках будет отображен символ восклицательного знака желтого цвета. После нажатия на кнопку Install будет запущен процесс установки. После завершения процесса установки, web-интерфейс Grafana будет доступен на порту, указанном в конфигурации данного сервиса. В Grafana будут предварительно загружены рабочие столы:

• Graphite Server (Carbon Metrics), отображающий статистику получения метрик кластером мониторинга
• Arenadata System metrics, отображающий системную информацию всех хостов, подключенных к серверу мониторинга с возможностью группировки по продуктам.

Также станет возможным импортировать настройки кластера мониторинга в другие кластера. Это позволит получить параметры кластера мониторинга при их установке без ручного ввода.

Выполнение действий на кластере

Reinstall statuschecker:

Рис. 7. Action “Reinstall statuschecker”

Если была произведена миграция кластера под управление нового сервера adcm, необходимо нажать кнопку Reinstall statuschecker. После нажатия на кнопку Reinstall statuschecker будет запущен процесс перенастройки и перезапуска сервиса statuschecker.

Обновление кластера мониторинга

Обновление ОС Altlinux при обновлении на версию ADM 3.3.0 или выше.

Important

При обновлении кластера мониторинга на базе ОС Altlinux 8.2 СП на версию ADM 3.3.0 или выше установка приостановится после этапа Precheck и будет ожидать обновления ОС до версии Altlinux 8.4 СП. После успешного обновления и перезапуска шага Upgrade система будет обновлена до соответствующей версии бандла ADM.

Release Notes

ADM 3.2.0:

• Добавлена поддержка ОС: RedHat 7/CentOS 7 Архитектура: PPC64LE

ADM 3.2.2:

• Добавлен action ‘Reinstall statuschecker’
• Добавлены поля в настройку сервера Grafana для поддержки smtp рассылки
• Исправлена ошибка работы сервиса Diamond с дисками NVME

ADM 3.3.0:

• Добавлена поддержка AltLinux 8.4 СП, при этом AltLinux 8.2 СП более недоступен
• Обновлен образ nginx до последней версии

ADM 3.3.1:

• Возможность настройки Storage schema метрик для сервиса Graphite: Carbon retentions, Default Graphite retentions
• Новые поля SMTP FROM NAME, SMTP FROM ADDRESS для указания отправителя уведомлений Grafana (например для smtp.yandex.ru)
• Новая настройка Proxy settings в Grafana: HTTP proxy, HTTPS proxy для использование оповещений из закрытого контура через прокси (например в telegram)
• Возможность смены IP-адреса для Grafana
• Возможность указания локального Docker Registry для установки мониторинга оффлайн без использования Еnterprise Тools