Установка кластера мониторинга с помощью ADCM ============================================= Обзор пакета Мониторинг ----------------------- Установочный пакет Мониторинг позволяет развернуть на выбранных хостах кластер мониторинга. Впоследствии к данному кластеру могут быть подключены другие кластеры, разворачиваемые с помощью Arenadata Cluster Manager. Это позволяет получить единую точку контроля за состоянием всех применяемых решений. Кластер мониторинга включает в себя набор компонентов: * **Carbon** |---| набор сервисов, отвечающий за получение метрик от сервисов кластеров и сохранение полученных данных в формате whisper_ * **Graphite** |---| web-сервис, позволяющий выполнять запросы к базам данных whisper и визуализировать полученные данные * **Grafana** |---| web-сервис, позволяющий создавать удобные наборы графиков и иных средств визуализации для каждого из сервисов, требующих мониторинга. * **Diamond** |---| для сбора системных метрик с хостов кластера мониторинга. .. _whisper: https://graphite.readthedocs.io/en/latest/whisper.html .. |---| unicode:: U+2014 .. em dash, trimming surrounding whitespace Аппаратные требования: ---------------------- Минимальные: ^^^^^^^^^^^^ + CPU: 4 Cores + RAM: 16GB + ROM: 50GB Рекомендуемые: ^^^^^^^^^^^^^^ + CPU: 12 Cores + RAM: 64GB + ROM: Требуется провести сайзинг в зависимости от кол-ва метрик, формата хранения, ротации и кол-ва хостов. Для расчета возможно использовать калькулятор: https://m30m.github.io/whisper-calculator/ Для развертывания кластера мониторинга требуется: #. :ref:`Загрузить в менеджер кластеров ADCM пакет мониторинга` #. :ref:`Создать экземпляр кластера мониторинга` #. :ref:`Добавить сервисы` #. :ref:`Произвести настройку сервисов` #. :ref:`Добавить хосты, на которых будет производиться развертывание кластера мониторинга` #. :ref:`Распределить компоненты выбранных сервисов кластера по добавленным хостам` #. :ref:`Произвести конфигурацию параметров кластера` #. :ref:`Запустить установку кластера` .. _uploading: Загрузка пакета в менеджер кластеров ------------------------------------ Загрузка пакета кластера мониторинга производится на вкладке BUNDLES менеджера кластеров с помощью кнопки "Upload bundle" (загрузить пакет). Пакет должен быть доступен для стандартного диалога выбора файлов операционной системы рабочей станции, на которой открыт web-интерфейс менеджера кластеров. .. _create_cluster: Создание экземпляра кластера мониторинга ---------------------------------------- Создание экземпляра кластера мониторинга производится на вкладке CLUSTERS с помощью кнопки "Add cluster" (:numref:`Рис.%s `). В появившемся окне необходимо выбрать из выпадающего списка пакет кластера мониторинга, загруженный на предыдущем шаге, а также указать имя кластера и, опционально, описание. После подтверждения введенных данных нажатием кнопки "Save", созданный кластер появится в списке на вкладке CLUSTERS. .. _img_2: .. figure:: ../images/2.png :align: center Создание кластера .. _service_addition: Добавление сервисов ------------------- Нажав на строку с только что созданным кластером мы попадаем на страницу его конфигурации. На вкладке Services представлен изначально пустой список сервисов, необходимых для установки. Выбрать сервисы из списка доступных в пакете можно нажав на кнопку "Add services". После этого будет предложен диалог с возможностью отметить флажками необходимые сервисы: Grafana, Graphite, Diamond. Подтвердить свой выбор необходимо кнопкой "Add". Внимание! Удалить из кластера добавленный сервис невозможно. .. _service_configuration: Конфигурация сервисов --------------------- Чтобы произвести конфигурацию одного из добавленных сервисов, необходимо нажать на его строку в списке (:numref:`Рис.%s `). .. _img_3: .. figure:: ../images/3.png :align: center Конфигурация сервиса на примере Grafana Конфигурационные параметры сервиса Grafana: * **Username** |---| имя пользователя с правами администратора для доступа к web-интерфейсу, создаваемого при установке * **Password** |---| пароль для этого пользователя. Поле обязательно для заполнения. * **Confirm password** |---| подтверждение пароля, для проверки правильности ввода * **Allow sign up** |---| разрешить пользователям регистрироваться самостоятельно * **Anonymous enabled** |---| разрешить просмотр рабочих столов без аутентификации * **Host IP address** |---| IP-адрес, по которому будет доступен web-интерфейс Grafana. Поле заполняется автоматически в процессе установки. * **Port** |---| порт, по которому будет доступен данный web-интерфейс * **Plugins** |---| список имен пакетов расширений grafana, которые будут загружены в процессе установки. * **Default UI theme** |---| тема оформления интерфейса по-умолчанию. Доступны темная (dark) и светлая (light). Конфигурационные параметры сервера Graphite: * **Data storage** - путь, по которому сервисы carbon будут сохранять метрики. Помните, что хранение метрик требует много дискового пространства. * **Host IP address** - IP-адрес, на котором будут доступны сервисы graphite: carbon-relay для приема метрик от внешних сервисов и graphite-web web-интерфейс Graphite. Поле заполняется автоматически в процессе установки. * **Port** - порт, который будет прослушивать сервис carbon-relay. Настройка SMTP для сервера Graphite: .. figure:: ../images/10.png :align: center Пример настройки SMTP * **SMTP host and port** - IP-адрес или DNS имя smtp сервера и порт подключения. * **SMTP username** - Имя пользователя для авторизации на smtp сервер, использование доменного имени зависит от сервера smtp. * **SMTP password** - Пароль пользователя. .. _host_addition: Добавление хостов ----------------- .. figure:: ../images/4.png :align: center Добавление хостов Для установки кластера мониторинга необходим минимум один хост. Также возможно размещение сервисов graphite и grafana на двух разных хостах. Хосты должны быть добавлены на вкладке Hosts кластера с помощью кнопки Add hosts. Процесс создания и инициализации хостов выходит за рамки данного руководства. .. _host_component: Распределение компонентов сервисов по хостам -------------------------------------------- .. figure:: ../images/6.png :align: center Распределение компонентов сервисов по хостам На вкладке "Hosts - Components" необходимо разместить компоненты выбранных для установки сервисов на добавленных хостах. Для этого необходимо нажать на компонент сервиса, а затем на хост, которые необходимо связать между собой. Обязательно необходимо расместить один компонент сервиса Graphite и один компонент сервиса Grafana. После внесения в схему изменений необходимо нажать на кнопку "Save". .. _cluster_configuration: Конфигурация параметров кластера -------------------------------- .. figure:: ../images/7.png :align: center Конфигурационные параметры кластера На вкладке Configuration доступны конфигурационные параметры кластера: * **Arenadata Monitoring repo** |---| rpm-репозиторий, содержащий предварительно собранные пакеты, необходимые для установки кластера. * **ADCM Host** |---| IP-адрес, по которому будет доступен хост менеджера кластеров (ADCM) для хостов кластера мониторинга для отправки уведомлений о состоянии установленных на них компонентов. * **ADCM Port** |---| порт, на котором запущен менеджер кластеров. .. _setup: Установка кластера ------------------ .. _img_8: .. figure:: ../images/8.png :align: center Кластер готов к началу установки Если конфигурация выполнена корректно, на верхней панели действий кластера станет доступна кнопка Install (Установка) (:numref:`Рис.%s `). Если были допущены ошибки, на соответствующих вкладках будет отображен символ восклицательного знака желтого цвета. После нажатия на кнопку Install будет запущен процесс установки. После завершения процесса установки, web-интерфейс Grafana будет доступен на порту, указанном в конфигурации данного сервиса. В Grafana будут предварительно загружены рабочие столы: * **Graphite Server (Carbon Metrics)**, отображающий статистику получения метрик кластером мониторинга * **Arenadata System metrics**, отображающий системную информацию всех хостов, подключенных к серверу мониторинга с возможностью группировки по продуктам. Также станет возможным импортировать настройки кластера мониторинга в другие кластера. Это позволит получить параметры кластера мониторинга при их установке без ручного ввода. .. _actions: Выполнение действий на кластере ------------------ Reinstall statuschecker: ^^^^^^^^^^^^ .. _img_9: .. figure:: ../images/9.png :align: center Action "Reinstall statuschecker" Если была произведена миграция кластера под управление нового сервера adcm, необходимо нажать кнопку Reinstall statuschecker. После нажатия на кнопку Reinstall statuschecker будет запущен процесс перенастройки и перезапуска сервиса statuschecker. Обновление кластера мониторинга ------------------ Обновление ОС Altlinux при обновлении на версию *ADM 3.3.0* или выше. ^^^^^^^^^^^^ .. important:: При обновлении кластера мониторинга на базе ОС Altlinux 8.2 СП на версию *ADM 3.3.0* или выше установка приостановится после этапа Precheck и будет ожидать обновления ОС до версии Altlinux 8.4 СП. После успешного обновления и перезапуска шага Upgrade система будет обновлена до соответствующей версии бандла ADM. Release Notes ------------------ ADM 3.2.0: ^^^^^^^^^^^^ + Добавлена поддержка ОС: RedHat 7/CentOS 7 Архитектура: PPC64LE ADM 3.2.2: ^^^^^^^^^^^^ + Добавлен action 'Reinstall statuschecker' + Добавлены поля в настройку сервера Grafana для поддержки smtp рассылки + Исправлена ошибка работы сервиса Diamond с дисками NVME ADM 3.3.0: ^^^^^^^^^^^^ + Добавлена поддержка ``AltLinux 8.4 СП``, при этом ``AltLinux 8.2 СП`` более недоступен + Обновлен образ *nginx* до последней версии ADM 3.3.1: ^^^^^^^^^^^^ + Возможность настройки **Storage schema** метрик для сервиса **Graphite**: *Carbon retentions*, *Default Graphite retentions* + Новые поля *SMTP FROM NAME*, *SMTP FROM ADDRESS* для указания отправителя уведомлений **Grafana** (например для smtp.yandex.ru) + Новая настройка **Proxy settings** в **Grafana**: *HTTP proxy*, *HTTPS proxy* для использование оповещений из закрытого контура через прокси (например в ``telegram``) + Возможность смены IP-адреса для **Grafana** + Возможность указания локального **Docker Registry** для установки мониторинга оффлайн без использования *Еnterprise Тools*