Запуск мастера установки

Для создания кластера необходимо после входа в Ambari запустить мастер установки, нажав в главной экранной форме кнопку Launch Install Wizard. Мастер установки проводит по шагам, необходимым для создания нового кластера ADH. Некоторые этапы установки требуют особого внимания:

  • Изменение URL-адресов репозиториев;
  • Ввод имен узлов и SSH-ключа или ручная установка Ambari-агентов;
  • Выбор компонентов;
  • Назначение мастер-узлов для компонентов;
  • Назначение Slave и Client узлов;
  • Дополнительные настройки компонентов.

Изменение URL-адресов репозиториев

Для того чтобы открыть список репозиториев, необходимо в блоке “Stacks” установить флаг в поле ADH 1.5 и раскрыть блок “Advanced Repository Options”, при этом Ambari предлагает указать URL-адреса репозиториев (Рис.8.).

../_images/install_master_select-version.jpg

Рис. 8. Выбор стека

В полях “Base URL” необходимо указать URL-адреса репозиториев, которые были получены при запуске скрипта setup_repo.sh. Данные URL-адреса всегда можно уточнить в файлах <имя репозитория>.repo.

Для установки из публичного репозитория Arenadata необходимо выбрать соответствующий пункт меню “Use Public Repository” (Рис.9.).

../_images/install_master_use-public-rep.jpg

Рис. 9. Установка из публичного репозитория

Репозитории можно обновить после развертывания кластера через Ambari UI (“Admin ‣ Repositories”).

Ввод имен узлов и SSH-ключа

В разделе “Install Options” следует указать FQDN для узлов, которые будут содержать кластер. Можно задавать диапазоны имен с помощью квадратных скобок, например, host [01-10].domain описывает 10 хостов. В случае если применяется EC2, необходимо использовать имена внутренних частных DNS-узлов.

Для автоматической регистрации Ambari-агентов на узлах кластера необходимо ввести закрытый ключ, который использовался для настройки беспарольного SSH для кластера. Можно передать сам файл id_rsa или скопировать и вставить его содержимое в экранную форму.

Ручная установка Ambari-агентов

В случае если нет возможности предоставить закрытый ключ беспарольного SSH, следует произвести установку Ambari-агентов вручную. Для этого на каждом узле кластера необходимо выполнить следующие шаги:

  • Установить репозиторий Ambari, скопировав файл ambari.repo с сервера репозитория;

  • Установить Ambari-агент, выполнив команду:

    • RHEL/CentOS 7:
    yum install ambari-agent
    
    • SUSE/SLES 12:
    zypper install ambari-agent
    
  • Изменить конфигурацию Ambari-агента /etc/ambari-agent/conf/ambari-agent.ini для определения его на сервере Ambari:

    [server]
    hostname={ambari.server.hostname}
    url_port=8440
    secured_url_port=8441
    
  • Запустить Ambari-агент, выполнив команду:

    ambari-agent start

Ambari-агент зарегистрируется на сервере при его запуске.

Выбор компонентов

На начальном этапе установки необходимо выбрать компоненты ADH, которые следует инсталлировать. При этом HDFS и Zookeeper всегда обязательны, остальные компоненты возможно установить позднее (Рис.10.).

../_images/install_master_choose-services.jpg

Рис. 10. Выбор компонентов

В случае если выбирается компонент Ambari Metrics, то для контроля кластера можно использовать Ambari. Если данный компонент не выбирается, выдается предупреждение, которое можно игнорировать в случае, если кластер планируется контролировать с помощью других инструментов. При этом Ambari Metrics можно будет добавить в кластер позднее.

Назначение мастер-узлов

Необходимо назначить мастер-узлы компонентов кластера (Рис.11.).

../_images/install_master_assign-masters.jpg

Рис. 11. Назначение мастер-узлов

Important

Если Hive Metastore использует новую базу данных PostgreSQL, компонент HIVE METASTORE не должен находиться на хосте AMBARI

Данное ограничение объясняется тем, что оба компонента будут пытаться использовать порт 5432. В случае абсолютной необходимости совместного размещения указанных компонентов на одном и том же хосте, предварительно следует переконфигурировать базу данных PostgreSQL на порт, отличный от 5432, и выбрать опцию “Existing PostgreSQL Database” для конфигурации Hive Metastore.

Назначение Slave и Client узлов

Необходимо назначить Slave и Client узлы, на которых будут разворачиваться соответствующие компоненты кластера (Рис.12.).

../_images/install_master_assign-slaves-clients.jpg

Рис. 12. Назначение Slave и Client узлов

Дополнительные настройки компонентов

На экранной форме отображаются параметры конфигурации отдельных компонентов, автоматически сгенерированных установщиком Ambari на основе параметров кластера. Параметры каждого компонента можно менять по своему усмотрению в зависимости от планируемого использования того или иного компонента кластера.

В случае если для какого-либо обязательного параметра установщик не может предложить значение по умолчанию, перед продолжением установки данные параметры необходимо указать вручную (на Рис.13. приведен пример, когда для компонентов Hive, Oozie, Ambari Metrics, Knox необходимо указать пароли для внутренних баз данных).

../_images/install_master_customize-services.jpg

Рис. 13. Дополнительные настройки компонентов

Important

Каталоги для размещения данных HDFS (параметр “DataNode Directories” сервиса HDFS) не должны содержать никаких других данных, в том числе данных других компонентов. Это связано с тем, что при старте DataNode указанные каталоги очищаются, и может произойти потеря данных

Important

В случае если компонент DataNode сервиса HDFS устанавливается менее, чем на трех узлах кластера, необходимо задать соответствующее значение параметра DFS Replication Factor указанного компонента

Установка, запуск и тестирование

На экранной форме отображается ход развертывания кластера на каждом узле (Рис.14.).

../_images/install_master_install-start-test.jpg

Рис. 14. Ход развертывания кластера

Каждый компонент, который разворачивается вместе с хостом, устанавливается, запускается и проходит простой тест для проверки работоспособности.

При этом есть возможность просмотра подробной информации о завершенных и ожидающих задачах для каждого хоста (Рис.15.). Для этого необходимо нажать ссылку в столбце “Message” (см. Рис.14.).

../_images/install_master_tasks.jpg

Рис. 15. Информация о задачах хоста

По завершении установки компонентов появляется сообщение Successfully installed and started the services, в котором необходимо нажать кнопку Next.

Для окончания установки необходимо на странице “Summary” проверить список завершенных задач и нажать кнопку Complete. При этом открывается панель инструментов кластера.