Установка сервера Ambari 2.6.2¶
Установка сервера Ambari 2.6.2 проходит в несколько этапов:
- Настройка репозитория
- Установка сервера Ambari
- Настройка сервера Ambari
- Запуск сервера Ambari
- Подготовка к установке основных компонентов ADH на кластер
Настройка репозитория¶
Установка сервера Ambari выполняется с помощью пакетного менеджера из репозитория, содержащего соответствующий пакет. При этом допускается использование как удаленного репозитория, доступного через сеть Интернет, так и размещенного в локальной сети кластера (например, если из соображений безопасности доступ к сети Интернет ограничен).
Important
Репозиторий должен находиться на доступном со всех узлов кластера хосте
Настройка удаленного репозитория¶
Настройка удаленного репозитория не отличается от настройки любого дополнительного репозитория.
Для добавления репозитория необходимо выполнить от имени root команду:
RHEL/CentOS 7:
yum-config-manager –-add-repo <URL репозитория Ambari>/ambari.repo
SUSE/SLES 12:
zypper addrepo <URL репозитория Ambari>/ambari.repo
Настройка локального репозитория¶
Для настройки нового сервера репозитория необходим веб-сервер httpd. Следует убедиться, что сервер httpd запускается на хосте, который служит в качестве репозитория:
RHEL/CentOS 7:
systemctl status httpd
SUSE/SLES 12:
systemctl status apache2.service
В случае если сервер не запущен, необходимо его установить и запустить:
RHEL/CentOS 7:
systemctl start httpd
SUSE/SLES 12:
systemctl start apache2.service
Создание промежуточного каталога¶
Для извлечения архивов для стеков Ambari и ADH рекомендуется использовать промежуточный каталог.
Каждый архив представляет собой архивный репозиторий и имеет скрипт setup_repo.sh, создающий ссылку из корня документа httpd server/var/www/html в каталог, из которого извлекается архив. Необходимо, чтобы промежуточный каталог и все верхнеуровневые каталоги были читаемыми и доступными пользователю, выполняющему процесс httpd (apache), а лучше сделать их доступными для всех пользователей кластера:
mkdir /staging
chmod a+rx /staging
Important
Не используйте каталог /TMP в качестве промежуточного, так как файлы могут быть удалены в любое время
Загрузка и распаковка архива Ambari¶
Arenadata Ambari поставляется как архив репозитория, который необходимо извлечь на сервер репозитория.
На узел, который используется в качестве репозитория, необходимо загрузить архив Ambari 2.6.2 в ранее созданный промежуточный каталог или в каталог:
RHEL/CentOS 7:
wget https://storage.googleapis.com/arenadata-repo/ambari/2.6.2/repos/ambari.repo -O /etc/yum.repos.d/
SUSE/SLES 12:
wget https://storage.googleapis.com/arenadata-repo/ambari/2.6.2/repos/ambari-sles.repo - O /etc/zypp/repos.d/
PPC64le RHEL7:
wget https://storage.googleapis.com/arenadata-repo/ambari/2.6.2/repos/ambari-ppc64le.repo - O /etc/zypp/repos.d/
Необходимо убедиться, что все родительские каталоги до промежуточного имеют доступ “r + х” для всех пользователей, поскольку данный каталог будет использоваться для создания локального репозитория.
После загрузки Ambari 2.6.2 необходимо извлечь архив в промежуточный каталог. Например:
tar -xvf /staging/AMBARI-2.6.2.tar -C /staging/
Настройка локального репозитория¶
Для настройки локального репозитория необходимо на хосте, используемом в качестве репозитория, выполнить скрипт setup_repo.sh, входящий в состав архива Ambari:
/staging/AMBARI-2.6.2/setup_repo.sh
В скрипте предполагается, что в корневом каталоге репозитория веб-сервер устанавливает /var/www/html и создает ссылку ambari-<версия>, указывающую на извлеченный архив.
Необходимо убедиться, что репозиторий доступен на веб-сервере:
curl http://localhost/AMBARI-2.6.2/repodata/repomd.xml
Скрипт также создает определенный репозиторий Ambari и помещает его в файл:
RHEL/CentOS 7:
/etc/yum.repos.d/ambari.repo
SUSE/SLES 12:
/etc/zypp/repos.d/ambari.repo
Данный файл должен быть доступен на хосте администратора, где будет установлен сервер Ambari.
Important
Репозиторий Ambari должен быть доступен для всех узлов кластера
Необходимо проверить наличие доступа к следующему URL-адресу с хоста администратора и с узлов кластера:
http://<yum.repo.host.fqdn>/AMBARI-2.6.2
Установка сервера Ambari¶
Сервер Ambari устанавливается из RPM-пакета по команде:
RHEL/CentOS 7:
yum install ambari-server
SUSE/SLES 12:
zypper install ambari-server
Данная команда устанавливает сервер Ambari, являющийся сервером веб-приложений, на порт 8080. Также устанавливает инстанс сервера PostgreSQL на порт 5432.
Настройка сервера Ambari¶
Сервер Ambari необходимо настроить для корректной работы.
В случае если инстанс PostgreSQL настроен на порт по умолчанию, следует выполнить следующую команду:
ambari-server setup
В процессе настройки необходимо указать или принять по умолчанию параметры:
Учетная запись пользователя – для запуска Ambari-сервера можно выбрать любую учетную запись (необязательно выполнять вход от root). В случае если пользователя не существует, он создается автоматически;
Java JDK – для загрузки Oracle JDK 1.8 необходимо ввести значение 1 и принять лицензию Oracle JDK для загрузки файлов из Oracle. При этом установка JDK выполняется автоматически;
База данных – выбор базы данных:
Enter advanced database configuration
В командной строке необходимо ответить n или y:
- n – для использования с Ambari стандартной встроенной базы данных PostgreSQL. По умолчанию для базы данных PostgreSQL устанавливается имя “ambari” и логин / пароль принимают значения ambari / bigdata.
- y – при необходимости использования с Ambari уже существующей базы данных PostgreSQL, MySQL или Oracle вместо предлагаемой по умолчанию. Далее для выбранной базы данных необходимо указать параметры подключения (см. Приложение 1).
Запуск сервера Ambari¶
После установки сервера Ambari запуск его осуществляется по команде:
ambari-server start
Для проверки статуса сервера необходимо использовать команду:
ambari-server status
Для остановки сервера необходимо использовать команду:
ambari-server stop
Сервер Ambari доступен на порту 8080. По умолчанию для него установлена следующая учетная запись:
- User: admin
- Password: admin
Important
Рекомендуется сменить пароль после первого входа в систему
Для входа в веб-интерфейс Ambari необходимо в адресной строке браузера указать адрес сервера:
http://<адрес сервера>:8080
При этом запрашивается логин и пароль. После авторизации открывается веб-интерфейс Ambari (Рис.7.).
Рис. 7. Веб-интерфейс Ambari до настройки кластера
Подготовка к установке основных компонентов ADH на кластер¶
Основные компоненты ADH устанавливаются из репозиториев, которые определяются при первичной настройке кластера. Как и в случае репозитория Ambari, допускается использование удаленных и локальных репозиториев.
Удаленные репозитории уже заданы в Ambari как предлагаемые по умолчанию, для их настройки и использования не требуется дополнительных действий.
Для настройки локальных репозиториев необходимо выполнить действия, аналогичные настройке локального репозитория Ambari:
- Загрузить и извлечь архивы стека ADH;
- Настроить локальные репозитории.
Загрузка и извлечение архивов стека ADH¶
Архивы стека ADH необходимо установить на машине, где размещен репозиторий. В случае если для сервера репозитория используется выделенная машина, то архивы стека ADH следует установить на хосте администратора, использованном для установки сервера Ambari.
Необходимо загрузить и распаковать следующие архивы в выделенном для них месте (при этом следует избегать использования каталога /tmp):
- ADH-1.6.1 – RPM-пакеты для сервисов Hadoop, таких как HDFS, YARN, Hbase, Hive, Zookeeper;
- ADH-UTILS-1.6.1 – дополнительные сервисы и библиотеки, используемые для мониторинга и оповещения серверов кластера.
В случае если архивы загружены в каталог /tmp, то для их распаковки в каталоге, например, /staging необходимо выполнить следующую команду:
tar –xvf /tmp/{stack}.tar -C /staging/
Для использования локальных репозиториев ADH и ADH UTILS необходимо выполнить настройки, описанные в пункте Настройка локальных репозиториев.
Настройка локальных репозиториев¶
Стек ADH поставляется в виде архива репозитория, который необходимо развернуть на сервере репозитория так, чтобы при этом он был доступен серверу Ambari и всем узлам кластера.
Каждый репозиторий стека содержит скрипт setup_repo.sh, для которого необходимо выполнение следующих требований:
- Сервер репозитория доступен всем узлам кластера;
- Корень сервера репозитория находится в /var/www/html/.
Скрипт каждого стека создает символическую ссылку в документе сервера репозитория, указывающую на местоположение извлеченного архива стека, и генерирует файл с местоположением репозитория в каталоге:
RHEL/CentOS 7:
/etc/yum.repos.d/
SUSE/SLES 12:
/etc/zypp/repos.d/
Для каждого стека необходимо запустить скрипт установки локального репозитория:
/staging/{stack}/setup_repo.sh
По завершению установки скрипт выводит URL-адрес репозитория. Данный URL потребуется при установке кластера ADH с использованием сервера Ambari.
В случае если сервер репозитория установлен не на хосте администратора (где установлен сервер Ambari), необходимо скопировать созданные файлы определения местоположения репозитория из папки репозитрия на хост администратора, где установлен сервер Ambari.
Затем необходимо проверить корректность настройки репозитория, выполнив две команды от узла администратора:
RHEL/CentOS 7:
yum clean all yum repolist
SUSE/SLES 12:
zypper clean -a zypper repos
При корректной настройке выдается список репозиториев стека.