Обзор работы TEZ
ADH-сервис Tez основан на проекте Apache TEZ. Вы можете использовать данный сервис для создания высокопроизводительных batch/интерактивных приложений, управляемых YARN. Модель обработки данных в Tez представлена в виде ориентированного ациклического графа (DAG), где вершины графа представляют логику приложения, а ребра — отображают движение данных. Фактически Tez может обработать любой произвольный граф.
В ADH Tez встроен в сервис Hive. При установке Hive сервис Tez используется по умолчанию в качестве механизма выполнения SQL-запросов.
Все настройки сервиса доступны в ADCM-разделе Hive. Раздел с XML-параметрами Tez находится на странице настроек Hive.
Интерфейс Tez
Ссылку на интерфейс Tez вы можете найти в ADCM на странице Hive.
Обычно, она включает полное имя домена (FQDN) и номер порта, который по умолчанию равен 9999.
Tez взаимодействует с YARN Application Timeline Server и отображает текущее и архивное состояние приложений Tez в Tez-интерфейсе.
Ссылка на Tez-интерфейс имеет следующий формат: http://FQDN:9999.
При попытке доступа к Tez-интерфейсу с удаленного хоста, могут возникнуть проблемы с DNS-разрешением и соединением с YARN Application Timeline Server. Для решения данной проблемы необходимо явно прописать внешний IP-адрес для полного доменного имени в файле hosts. Вне зависимости от операционной системы, файл hosts обычно расположен в директории ~/etc/. Добавьте все FQDN-IP пары вашего кластера в этот файл. Файл hosts имеет следующий вид:
127.0.0.1 localhost ::1 localhost 172.31.1.234 adh1.us-west-2.compute.internal 172.31.3.37 adh2.us-west-2.compute.internal 172.31.2.65 adh3.us-west-2.compute.internal
После изменения файла hosts, вы можете открыть интерфейс Tez с внешнего хоста.
