Установка кластера

Елизавета Вайсман, Дарья Барышева

Шаг 1. Запуск установки

Существует два способа установки:

  1. Установка всего кластера. В этом методе все сервисы кластера устанавливаются автоматически друг за другом после применения действия Install к кластеру.

  2. Установка отдельных сервисов. В этом методе каждый сервис устанавливается вручную путем применения к нему одного или нескольких действий. Этот способ также можно использовать для добавления новых сервисов в уже развернутый кластер.

В обоих методах каждый сервис запускается автоматически после установки.

ВАЖНО
Установка должна производиться на чистые хосты без предустановленного подобного ПО.

Установка всего кластера

Чтобы установить все сервисы кластера за одну операцию, выполните шаги:

  1. Примените действие Install к кластеру, выбранному на странице Clusters, нажав на иконку actions default dark actions default light в столбце Actions.

    Переход к установке всего кластера
    Переход к установке всего кластера

  2. Подтвердите действие в открывшемся окне.

    Подтверждение действия
    Подтверждение действия

  3. Дождитесь завершения установки.

Установка отдельных сервисов

Чтобы установить один или несколько сервисов вручную, необходимо предварительно добавить эти сервисы в кластер и затем применить к ним действия, описанные ниже.

ВНИМАНИЕ
Обратите внимание, что сервисы устанавливаются по очереди друг за другом. Не пытайтесь установить следующий сервис до окончания установки предыдущего.

  1. Откройте вкладку Services на странице кластера. Для сервиса, который должен быть установлен, нажмите на иконку actions default dark actions default light в столбце Actions и выберите действие Install из выпадающего списка.

    Переход к установке отдельных сервисов
    Переход к установке отдельных сервисов

  2. Подтвердите действие в открывшемся окне.

    Подтверждение действия
    Подтверждение действия

  3. Дождитесь завершения установки и убедитесь, что статус сервиса изменился с created на installed.

  4. Повторите предыдущие шаги для всех сервисов, которые необходимо установить.

Шаг 2. Просмотр результатов установки

ADCM запускает отдельную задачу (job) для установки, как и для любого другого процесса. Для получения информации о статусе задач предназначена cтраница Jobs.

Страница Jobs
Страница Jobs

Если установка завершается успешно, соответствующая ей задача на странице Jobs переходит из статуса running в success; в противном случае — в статус failed. Чтобы получить более детальную информацию о возникших ошибках, можно перейти на страницу задачи, кликнув по ней в списке задач на странице Jobs. Откроется окно с шагами выполнения задачи. Кликните по названию подзадачи (subjob) для вывода дополнительной информации о текущем шаге.

Переход на страницу задачи (job)
Переход на страницу с подробностями выполнения

Страница задачи содержит два основных раздела: ansible [ stdout] и ansible [ stderr ]. Это технические логи, содержащие информацию из стандартных I/O-потоков stdout/stderr.

В дополнение к ним может выводиться третий опциональный раздел ansible [ check ]. Он содержит краткие описания наиболее часто возникающих ошибок. По сравнению с предыдущими разделами, эти описания, как правило, более простые и конкретные.

При возникновении ошибок в процессе установки рекомендуется изучить логи всех трех разделов.

Страница задачи (job)
Подробности выполнения задачи

Шаг 3. Проверка статуса кластера после установки

В результате успешной установки происходит обновление статуса кластера и его сервисов:

  • Статус кластера, отображаемый в столбце State на странице Clusters, меняет свое значение с created на installed.

    Статус кластера после успешной установки
    Статус кластера после успешной установки

  • Статус сервисов, отображаемый на вкладке Services страницы кластера, меняет свое значение с created на installed.

    Статус сервисов кластера после успешной установки
    Статус сервисов кластера после успешной установки

Шаг 4. Просмотр метрик

Веб-интерфейс Grafana

В адресной строке браузера введите адрес хоста, на котором развернут сервис Grafana, и укажите номер порта. Значение параметра Grafana port находится в разделе Configuration сервиса Grafana (значение по умолчанию — 3000). Например: http://10.92.40.107:3000.

Для входа в систему используйте имя пользователя admin и значение параметра Admin password (которое также расположено в разделе Configuration сервиса Grafana) в качестве пароля.

Устранение неисправностей: пустые дашборды в Grafana

Если дашборды Grafana не отображают метрики, выполните следующие шаги.

Проверка, может ли Grafana подключиться к компоненту VictoriaMetrics Select

  1. Откройте веб-интерфейс Grafana (как описано выше).

  2. Перейдите в раздел Connections → Data sources → VictoriaMetrics.

  3. Перейдите в конец страницы и нажмите кнопку Test.

  4. Проанализируйте результат:

    • Тест пройден успешно. Если отображается зеленая галочка с сообщением Data source is working, то подключение от Grafana к компоненту VictoriaMetrics Select работает. Однако это не гарантирует, что компонент VictoriaMetrics Insert может записывать данные в компонент VictoriaMetrics Storage.

    • Возвращена ошибка. Если тест возвращает ошибку (например, request error), то компонент VictoriaMetrics Select недоступен из Grafana.

Проверка состояния компонентов VictoriaMetrics

  1. Откройте веб-интерфейс ADCM. Выберите кластер ADM на странице Clusters. Для этого нажмите на название кластера в столбце Name.

  2. Перейдите на вкладку Services → VictoriaMetrics → Components.

  3. Проверьте, что индикаторы состояния рядом с названиями всех компонентов горят зеленым цветом. Если индикатор состояния какого-либо компонента желтый, перезапустите его с помощью действия Restart.

Проверка логов и сетевого подключения

Войдите по SSH на хосты, где развернуты компоненты VictoriaMetrics, и выполните соответствующие команды:

  • Чтобы проверить логи компонента VictoriaMetrics Select:

    $ sudo docker logs --tail 50 vmselect

  • Чтобы проверить логи компонента VictoriaMetrics Storage:

    $ sudo docker logs --tail 50 vmstorage

  • Чтобы проверить логи компонента VictoriaMetrics Insert:

    $ sudo docker logs --tail 50 vminsert

При анализе логов используйте следующую таблицу, чтобы выявить причину проблемы и устранить ее.

Анализ логов Docker для VictoriaMetrics
Вид ошибки в логах Причина проблемы Рекомендуемые действия

no space left on device

Компонент VictoriaMetrics Storage исчерпал дисковое пространство и не может принимать новые данные

Освободите дисковое пространство или увеличьте объем хранилища на хосте с компонентом VictoriaMetrics Storage

failed to reserve page summary memory

Компонент (VictoriaMetrics Select или VictoriaMetrics Storage) завершил работу аварийно, так как в Docker-контейнере или на хосте закончилась оперативная память

Проверьте распределение оперативной памяти на хосте и выполните команду для нужного Docker-контейнера, чтобы проверить, находится ли он в состоянии OOMKilled:

$ sudo docker inspect vmstorage
$ sudo docker inspect vmselect

При необходимости увеличьте лимит выделенной оперативной памяти.

В логах только сообщения об инициализации сервиса (например, successfully initialized netstorage и successfully dialed) и нет записей об обработке данных

Не удается получить метрики из кластера-источника данных:

  • Компонент сбора данных (VictoriaMetrics Agent или Prometheus) на стороне кластера-источника данных отключен или не может подключиться к компоненту VictoriaMetrics Insert.

  • Сбор метрик (scraping) завершился ошибкой, так как недоступны либо приложения внутри кластера-источника данных, либо их URL-адреса для сбора метрик.

Войдите на хост кластера-источника данных и проверьте статус VictoriaMetrics Agent (или Prometheus), конфигурацию сбора метрик и доступ по сети к компоненту VictoriaMetrics Insert

Веб-интерфейсы VictoriaMetrics

VictoriaMetrics имеет три отдельных веб-интерфейса:

  • VictoriaMetrics Insert

  • VictoriaMetrics Select

  • VictoriaMetrics Storage

Для доступа к веб-интерфейсам VictoriaMetrics введите в адресную строку браузера IP-адрес хоста, на котором развернут сервис VictoriaMetrics, с соответствующим номером порта. Порты для отдельных веб-интерфейсов VictoriaMetrics указаны в разделе Configuration → Ports Configuration (информацию о том, как зайти в настройки конфигурации, можно найти в статье Настройка сервисов):

  • VictoriaMetrics Insert: параметр vminsert HTTP Port (значение по умолчанию — 8480). Пример: http://10.92.40.169:8480.

  • VictoriaMetrics Select: параметр vmselect HTTP Port (значение по умолчанию — 8481). Пример: http://10.92.40.169:8481.

  • VictoriaMetrics Storage: параметр vmstorage HTTP Port (значение по умолчанию — 8482). Пример: http://10.92.40.169:8482.

ПРИМЕЧАНИЕ
Ссылки на веб-интерфейсы Grafana и VictoriaMetrics также доступны на вкладке Info соответствующих сервисов. Чтобы перейти к ним, откройте страницу вашего кластера, выберите нужный сервис на вкладке Services и откройте вкладку Info.
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней