Использование Ambari View

Arenadata Ambari предоставляет возможность использования представления (View) для работы с различными сервисами стека Hadoop.

Ambari Views – это способ расширения Ambari, который позволяет третьим сторонам подключать новые интерфейсы работы и управления сервисами.

Инструкция может быть полезна администраторам, программистам, разработчикам и сотрудникам подразделений информационных технологий, осуществляющих внедрение сервера.

Files View

Files View позволяет пользователю управлять, просматривать и загружать файлы и папки в HDFS.

../_images/view_files.jpg

Рис. 29. Пример экрана Files View

Настройка Kerberos для Files View

Перед настройкой Kerberos для Files View, необходимо сначала настроить Kerberos для Ambari, настроив для демона Ambari Server принципал Kerberos и таблицу ключей.

После настройки Kerberos для Ambari в разделе Settings настраиваемого View введите следующие свойства:

Параметр Описание Значение
WebHDFS Username Имя пользователя, под которым View будет обращаться к HDFS. ${username}
WebHDFS Authorization Строка аутентификации для доступа к WebHDFS auth=KERBEROS;proxyuser=ambari-server

При настройке Kerberos настройка прокси-пользователя должна быть основным значением принципала Kerberos для Ambari Server. Например, если вы настроили сервер Ambari для приницпала ambari-server@EXAMPLE.COM, то это значение будет ambari-server.

Capacity Scheduler View

Capacity Scheduler помогает оператору Hadoop легко настраивать управление рабочей нагрузкой YARN для обеспечения многопользовательской и сильно нагруженной обработки.

В Capacity Scheduler представлены ресурсы кластера для создания и управления очередями YARN.

../_images/view_capacity.jpg

Рис. 30. Пример экрана Capacity View

Tez View

Tez View предоставляет интерфейс мониторинга здадач Tez. Используя Tez View, можно оптимизировать и ускорить отдельные SQL-запросы или задачи Pig с целью получения максимальной производительности в многопользовательской среде Hadoop.

../_images/view_tez.jpg

Рис. 31. Пример экрана Tez View

Hive View

Hive View позволяет пользователю писать и выполнять SQL-запросы в кластере. Показывает историю всех запросов Hive, выполняемых на кластере, независимо от того, выполняются ли они из представления Hive или из другого источника, такого как JDBC/ODBC или CLI.

Hive View также дает графическое представление плана выполнения запроса. Это помогает пользователю отлаживать запрос для корректной настройки производительности.

Представление интегрируется с Tez View, позволяет пользователю отлаживать любую задачу Tez, в том числе отслеживать ход выполнения задачи (будь то Hive или Pig) во время работы.

../_images/view_hive.jpg

Рис. 32. Пример экрана Hive View

Настройка HDFS для Hive View

Hive View хранит метаданные пользователя в HDFS, по умолчанию используется /user/${username}, где ${username} это имя пользователя, вошедшего в данный момент в систему и получающего доступ к представлению Hive. Для корректной работы Hive View необходимо настроить домашний каталог этого пользователя в HDFS.

Important

Поскольку многие пользователи используют по умолчанию администратора Ambari для начала работы с кластером, необходимо создать папку /user/admin в HDFS, прежде чем использовать представление Hive.

Чтобы создать пользовательские каталоги в HDFS, для каждого пользователя Hive View:

  • подключитесь к хосту в кластере, который включает в себя клиент HDFS;
  • переключитесь на пользователя системной учетной записи hdfs:
su - hdfs
  • используя клиент HDFS, создайте каталог HDFS для пользователя. Например, если имя Вашего пользователя admin, то создайте каталог следующим образом:
hadoop fs -mkdir /user/admin
  • установите права на вновь созданный каталог. Например, если имя Вашего пользователя admin, то сделаете этого пользователя владельцем каталога:
hadoop fs -chown admin:hadoop /user/admin

Настройка SSL для Hive View

Перед настройкой SSL протокола для Hive View, необходимо сначала настроить Truststore для Ambari Server, импортировав все необзодимые ключи в Truststore.

После настройки SSL для Ambari в разделе Settings настраиваемого View введите следующие свойства:

Параметр Описание Значение
Hive Session Parameters Дополнительные параметры передаваемыее в рамках сессии Hive sslTrustStore=/path_to_ambari_truststore/ambari_truststore_name.jks;trustStorePassword=********

Pig View

Pig View аналогичен Hive View. Позволяет писать и запускать скрипт Pig.

Поддерживает сохранение скриптов, а также загрузку и использование существующих UDF в скриптах.

../_images/view_pig.jpg

Рис. 33. Пример экрана Pig View

Important

Помимо приведенных пользовательских представлений существует растущая экосистема Ambari User Views, разрабатываемая сообществом