Установка сервера Ambari 2.5.1

Установка сервера Ambari 2.5.1 проходит в несколько этапов:

  • Настройка репозитория YUM;
  • Установка сервера Ambari;
  • Настройка сервера Ambari;
  • Запуск сервера Ambari.

Настройка репозитория YUM

Установка сервера Ambari выполняется с помощью пакетного менеджера YUM из репозитория, содержащего соответствующий пакет. При этом допускается использование как удаленного репозитория, доступного через сеть Интернет, так и размещенного в локальной сети кластера (например, если из соображений безопасности доступ к сети Интернет ограничен).

Important

Репозиторий должен находиться на доступном со всех узлов кластера хосте

Настройка удаленного репозитория YUM

Настройка удаленного репозитория не отличается от настройки любого дополнительного репозитория YUM. Для добавления репозитория необходимо выполнить от имени root команду:

yum-config-manager –-add-repo <URL репозитория Ambari>/ambary.repo

Настройка локального репозитория YUM

Для настройки нового сервера репозитория YUM необходим веб-сервер httpd. Следует убедиться, что сервер httpd запускается на хосте, который служит в качестве репозитория YUM:

systemctl status httpd

В случае если сервер не запущен, необходимо его установить и запустить:

yum install httpd

systemctl start httpd

Создание промежуточного каталога

Для извлечения архивов для стеков Ambari и ADH рекомендуется использовать промежуточный каталог.

Каждый архив представляет собой архивный репозиторий YUM и имеет скрипт setup_repo.sh, создающий ссылку из корня документа httpd server/var/www/html в каталог, из которого извлекается архив. Необходимо, чтобы промежуточный каталог и все верхнеуровневые каталоги были читаемыми и доступными пользователю, выполняющему процесс httpd (apache), а лучше сделать их доступными для всех пользователей кластера:

mkdir /staging

chmod a+rx /staging

Important

Не используйте каталог /TMP в качестве промежуточного, так как файлы могут быть удалены в любое время

Загрузка и распаковка архива Ambari

Arenadata Ambari поставляется как архив репозитория YUM, который необходимо извлечь на сервер репозитория YUM.

На узел, который используется в качестве репозитория YUM, необходимо загрузить архив Ambari 2.5.1 в ранее созданный промежуточный каталог, или в каталоге /etc/yum.repos.d/ разместить repo-файл https://storage.googleapis.com/arenadata-repo/ADH/1.4.1/centos7/ambari.repo.

Необходимо убедиться, что все родительские каталоги до промежуточного имеют доступ “r + х” для всех пользователей, поскольку данный каталог будет использоваться для создания локального репозитория YUM.

После загрузки Ambari 2.5.1 необходимо извлечь архив в промежуточный каталог. Например:

tar -xvf /staging/AMBARI-2.5.1.tar -C /staging/

Настройка локального репозитория YUM

Для настройки локального репозитория YUM необходимо на хосте, используемом в качестве репозитория YUM, выполнить скрипт setup_repo.sh, входящий в состав архива Ambari:

/staging/AMBARI-2.5.1/setup_repo.sh

В скрипте предполагается, что в корневом каталоге YUM репозитория веб-сервер устанавливает /var /www /html и создает ссылку ambari-<версия>, указывающую на извлеченный архив.

Необходимо убедиться, что репозиторий YUM доступен на веб-сервере YUM:

curl http://localhost/AMBARI-2.5.1/repodata/repomd.xml

Скрипт также создает определенный репозиторий Ambari и помещает его в файл /etc/yum.repos.d/ambari.repo. Данный файл должен быть доступен на хосте администратора, где будет установлен сервер Ambari.

Important

YUM репозиторий Ambari должен быть доступен для всех узлов кластера

Необходимо проверить наличие доступа к следующему URL-адресу с хоста администратора и с узлов кластера:

http://<yum.repo.host.fqdn>/AMBARI-2.5.1

Установка сервера Ambari

Сервер Ambari устанавливается из RPM-пакета по команде YUM:

yum install ambari-server

Данная команда устанавливает сервер Ambari, являющийся сервером веб-приложений, на порт 8080. Также устанавливает инстанс сервера PostgreSQL на порт 5432.

Настройка сервера Ambari

Сервер Ambari необходимо настроить для корректной работы.

В случае если инстанс PostgreSQL настроен на порт по умолчанию, следует выполнить следующую команду:

ambari-server setup

В процессе настройки необходимо указать или принять по умолчанию параметры:

  • Учетная запись пользователя – для запуска Ambari-сервера можно выбрать любую учетную запись (необязательно выполнять вход от root). В случае если пользователя не существует, он создается автоматически;

  • Java JDK – для загрузки Oracle JDK 1.8 необходимо ввести значение 1 и принять лицензию Oracle JDK для загрузки файлов из Oracle. При этом установка JDK выполняется автоматически;

  • База данных – выбор базы данных:

    Enter advanced database configuration

    В командной строке необходимо ответить n или y:

    • n – для использования с Ambari стандартной встроенной базы данных PostgreSQL. По умолчанию для базы данных PostgreSQL устанавливается имя “ambari” и логин / пароль принимают значения ambari / bigdata.
    • y – при необходимости использования с Ambari уже существующей базы данных PostgreSQL, MySQL или Oracle вместо предлагаемой по умолчанию. Далее для выбранной базы данных необходимо указать параметры подключения (см. Приложение 1.).

Запуск сервера Ambari

После установки сервера Ambari запуск его осуществляется по команде:

ambari-server start

Для проверки статуса сервера необходимо использовать команду:

ambari-server status

Для остановки сервера необходимо использовать команду:

ambari-server stop

Сервер Ambari доступен на порту 8080. По умолчанию для него установлена следующая учетная запись:

User: admin

Password: admin

Important

Рекомендуется сменить пароль после первого входа в систему

Для входа в веб-интерфейс Ambari необходимо в адресной строке браузера указать адрес сервера:

http://<адрес сервера>:8080

При этом запрашивается логин и пароль. После авторизации открывается веб-интерфейс Ambari (Рис.7.).

../_images/install_installation_welcom-to-ambari-before-config.jpg

Рис. 7. Веб-интерфейс Ambari до настройки кластера

Подготовка к установке основных компонентов ADH на кластер

Основные компоненты ADH устанавливаются из репозиториев YUM, которые определяются при первичной настройке кластера. Как и в случае репозитория Ambari, допускается использование удаленных и локальных репозиториев.

Удаленные репозитории уже заданы в Ambari как предлагаемые по умолчанию, для их настройки и использования не требуется дополнительных действий.

Для настройки локальных репозиториев необходимо выполнить действия, аналогичные настройке локального репозитория Ambari:

  • Загрузить и извлечь архивы стека ADH;
  • Настроить локальные репозитории YUM.

Загрузка и извлечение архивов стека ADH

Архивы стека ADH необходимо установить на машине, где размещен репозиторий YUM. В случае если для сервера репозитория YUM используется выделенная машина, то архивы стека ADH следует установить на хосте администратора, использованном для установки сервера Ambari.

Необходимо загрузить и распаковать следующие архивы в выделенном для них месте (при этом следует избегать использования каталога /tmp):

  • ADH-1.4.0 – RPM-пакеты для сервисов Hadoop, таких как HDFS, YARN, Hbase, Hive, Zookeeper;
  • ADH-UTILS-1.4.0 – дополнительные сервисы и библиотеки, используемые для мониторинга и оповещения серверов кластера.

В случае если архивы загружены в каталог /tmp, то для их распаковки в каталоге, например, /staging необходимо выполнить следующую команду:

tar –xvf /tmp/{stack}.tar -C /staging/

Для использования локальных репозиториев ADH и ADH UTILS необходимо выполнить настройки, описанные в пункте Настройка локальных репозиториев YUM.

Настройка локальных репозиториев YUM

Стек ADH поставляется в виде архива репозитория YUM, который необходимо развернуть на сервере репозитория YUM так, чтобы при этом он был доступен серверу Ambari и всем узлам кластера.

Каждый репозиторий стека содержит скрипт setup_repo.sh, для которого необходимо выполнение следующих требований:

  • Сервер репозитория YUM доступен всем узлам кластера;
  • Корень сервера репозитория YUM находится в /var/www/html/.

Скрипт каждого стека создает символическую ссылку в документе сервера репозитория YUM, указывающую на местоположение извлеченного архива стека, и создает файл с местоположением репозитория в каталоге /etc/yum.repos.d/ для того, чтобы YUM по команде мог найти репозиторий.

Для каждого стека необходимо запустить скрипт установки локального репозитория:

/staging/{stack}/setup_repo.sh

По завершению установки скрипт выводит URL-адрес репозитория. Данный URL потребуется при установке кластера ADH с использованием сервера Ambari.

В случае если сервер репозитория YUM установлен не на хосте администратора (где установлен сервер Ambari), необходимо скопировать созданные файлы определения местоположения репозитория из /etc/yum.repos.d/ на хост администратора /etc/yum.repos.d, где установлен сервер Ambari. Затем необходимо проверить правильность настройки репозитория, выполнив две команды от узла администратора:

yum clean all

yum repolist

При корректной настройке выдается список репозиториев стека.