Установка кластера

Дарья Барышева

Шаг 1. Запуск установки

Для установки кластера Enterprise Tools выполните следующие шаги:

  1. Запустите действие Offline Install для кластера, выбранного на странице Clusters, нажав на иконку actions default dark actions default light в столбце Actions.

    Переход к установке кластера
    Переход к установке кластера

  2. В открывшемся диалоговом окне введите полный путь к shell-скрипту, полученному от команды поддержки Arenadata, и нажмите Run.

    Подтверждение установки
    Подтверждение установки

  3. Дождитесь завершения процесса установки.

    ПРИМЕЧАНИЕ
    В случае ошибок логи можно найти на странице Jobs.
    Процесс установки завершен
    Процесс установки завершен

Шаг 2. Загрузка пакетов для offline-установки

В дополнение к установке сервисов ET требуется загрузка всех установочных файлов и образов в инициализированный HTTP-репозиторий и Docker Registry на хосте, где развернут кластер ET. Это необходимо для последующего offline-развертывания продуктов Arenadata.

Особенности потребления дискового пространства

 
Во время выполнения действия Upload Pack в ADCM активно используется дисковое пространство из-за особенностей обработки данных:

  1. Распаковка архивов: пакеты извлекаются в каталог установки (по умолчанию /opt/arenadata/etools/ или иной выбранный каталог).

  2. Временные файлы: файлы создаются в системных каталогах (например, /tmp).

  3. Docker-образы: Docker создает временные слои в каталоге хранения данных (каталог, указанный в параметре Docker Root Dir, например /var/lib/docker).

В результате суммарное потребление дискового пространства может значительно превышать размер исходных пакетов (в два раза и более). Если на любом этапе (распаковка, создание временных файлов или загрузка Docker-образов) недостаточно места, может возникнуть ошибка вида ApplyLayer exit status 1 …​ no space left on device.

Проверьте объем доступного дискового пространства для следующих каталогов:

  • каталог хранения данных Docker (путь, указанный в параметре Docker Root Dir);

  • каталог установки ET (/opt/arenadata/etools/);

  • временные каталоги (/tmp).

Перед загрузкой пакетов рекомендуется сопоставить их размер с доступным дисковым пространством. Убедитесь, что в каталоге /opt/arenadata/etools/ или ином выбранном каталоге достаточно свободного места для архивов .tar.gz на основании результатов проверки дискового пространства, выполняемой с помощью приведенных ниже команд.

При возникновении ошибок нехватки места выполните следующие действия на хосте:

  1. Определите каталог хранения данных Docker:

    $ sudo docker info | grep 'Docker Root Dir'

    Результат команды:

    Docker Root Dir: /var/lib/docker

  2. Проверьте доступное место на диске:

    $ sudo df -h /var/lib/docker
$ sudo df -h /opt/arenadata/etools
$ sudo df -h /tmp
    ПРИМЕЧАНИЕ
    Если в выводе команды для проверяемых каталогов указана одинаковая точка монтирования (столбец Mounted on), это означает, что каталоги расположены в одной файловой системе и используют общее дисковое пространство. В этом случае ориентируйтесь на значение в столбце Avail для данной файловой системы, а не для каждого каталога отдельно.

  3. Проверьте фактическое использование дискового пространства:

    $ sudo du -sh /var/lib/docker
$ sudo du -sh /opt/arenadata/etools
$ sudo docker image ls

  4. При необходимости удалите неиспользуемые Docker-объекты:

    ВАЖНО

    • Команда удаляет неиспользуемые Docker-образы, контейнеры, сети и временные данные, используемые различными сервисами и приложениями на сервере, а не только компонентами ET.

    • Перед выполнением команды убедитесь, что удаляемые ресурсы не используются другими сервисами или приложениями.

    		 
    $ sudo docker system prune -a

Для загрузки пакетов выполните следующие действия:

  1. Запустите действие Upload Pack для кластера, выбранного на странице Clusters, нажав на иконку actions default dark actions default light в столбце Actions.

    Переход к загрузке пакетов
    Переход к загрузке пакетов

  2. В открывшемся диалоговом окне введите полный путь к shell-скрипту, полученному от команды поддержки Arenadata, и нажмите Run.

    Подтверждение загрузки
    Подтверждение загрузки

  3. Дождитесь завершения процесса загрузки.

    ПРИМЕЧАНИЕ
    В случае ошибок логи можно найти на странице Jobs.

Шаг 3. Проверка результатов

Для проверки установки на хосте, где развернут кластер, выполните шаги:

  1. Убедитесь, что порты 443 и 81 находятся в статусе LISTEN. Первый порт используется сервисом Docker Registry, второй порт — сервисом HTTP Mirror.

    $ sudo netstat -ntlp|grep L|grep -E "81|443"

    Результат команды:

    tcp6       0      0 :::443                  :::*                    LISTEN      1694/docker-proxy-c
tcp6       0      0 :::81                   :::*                    LISTEN      1708/docker-proxy-c

  2. Проверьте наличие директории /opt/arenadata/etools/httprepo/packages/arenadata-repo. Она должна содержать файлы, необходимые для offline-установки продуктов, выбранных вами на этапе получения shell-скрипта от команды поддержки Arenadata.

    $ ls -la /opt/arenadata/etools/httprepo/packages/arenadata-repo

    Следующий пример показывает данные, которые могут храниться в директории в случае установки ADQM.

    total 0
drwxr-xr-x. 5 root root 46 june 15 09:00 .
drwxr-xr-x. 3 root root 28 june 15 08:59 ..
drwxr-xr-x. 3 root root 17 june 15 09:00 ADM
drwxr-xr-x. 3 root root 33 june 15 08:59 ADQM
drwxr-xr-x. 3 root root 19 june 15 09:00 zookeeper
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней