Добавление компонентов

Евгения Кузина, Дарья Барышева

В ADCM компонент означает часть сервиса, которая должна быть развернута на одном или нескольких хостах кластера. Например, сервис HDFS состоит из таких компонентов, как DataNode, NameNode, Client и другие.

ВАЖНО
Изначально на хостах кластера нет ни одного компонента — распределение компонентов между хостами должно быть проведено вручную.

Для добавления компонентов на хосты кластера:

  1. Выберите кластер на странице Clusters. Для этого нажмите на имя кластера в столбце Name.

    Выбор кластера
    Выбор кластера

  2. Откройте вкладку Mapping на странице кластера.

    Переход к распределению сервисных компонентов
    Переход к распределению сервисных компонентов

  3. Распределите все компоненты между хостами кластера. Для назначения хостов компоненту нажмите Add hosts и выберите хосты в открывшемся окне.

    Выбор хостов для компонента
    Выбор хостов для компонента
    Обязательные компоненты

     
    Каждый сервис может иметь обязательные и опциональные компоненты. Обязательные подсвечиваются красным цветом. Также в интерфейсе ADCM для них выводится информация о том, в каком количестве необходимо установить каждый компонент.

    Обязательные компоненты
    Обязательные компоненты
    ВНИМАНИЕ
    Без назначения нужного числа хостов обязательным компонентам сохранение общей схемы распределения невозможно.

    Следующая таблица содержит примеры распределения компонентов в кластерах ADH, состоящих из 3, 6 и 9 хостов. Все примеры основаны на Enterprise-версии ADH.

    Примеры распределения компонентов

    • 3 хоста

    • 6 хостов

    • 9 хостов

    Хост Сервис Компонент

    Host 1

    Flink

    Flink Client

    Flink JobManager

    Flink TaskManager

    Flink SQL-Gateway

    HBase

    HBase Client

    HBase RegionServer

    HDFS

    HDFS Client

    HDFS DataNode

    HDFS JournalNode

    HDFS NameNode

    HDFS ZKFC

    Hive

    Hive Client

    Hive Metastore

    Hive Tez

    Impala

    Impala Statestore

    Impala Catalog Service

    Monitoring

    Monitoring Diamond

    Solr

    Solr Server

    Spark

    Spark Client

    Spark History server

    Spark3

    Spark3 Client

    Sqoop

    Sqoop Client

    YARN

    MapReduce History server

    YARN Client

    YARN NodeManager

    Zookeeper

    Zookeeper Server

    Host 2

    Airflow

    Airflow Metastore

    Airflow Server

    Airflow broker

    Flink

    Flink Client

    HBase

    HBase Client

    HBase Master server

    HBase Phoenix query server

    HBase RegionServer

    HDFS

    HDFS Client

    HDFS DataNode

    HDFS HttpFS server

    HDFS JournalNode

    Hive

    Hive Client

    Hive HiveServer2

    Hive Tez

    Hive TezUI

    Impala

    Impala Daemon

    Monitoring

    Monitoring Diamond

    Solr

    Solr Server

    Spark

    Spark Client

    Spark Livy server

    Spark3

    Spark3 Client

    Sqoop

    Sqoop Client

    Sqoop Metastore

    YARN

    YARN Client

    YARN NodeManager

    YARN ResourceManager

    Zeppelin

    Zeppelin Server

    Zookeeper

    Zookeeper Server

    Host 3

    Arenadata PostgreSQL

    Arenadata PostgreSQL

    Flink

    Flink Client

    HBase

    HBase Client

    HBase RegionServer

    HBase Thrift2 server

    HDFS

    HDFS Client

    HDFS DataNode

    HDFS JournalNode

    HDFS NameNode

    HDFS ZKFC

    Hive

    Hive Client

    Hive Tez

    Impala

    Impala Daemon

    Impala Client

    Kyuubi

    Kyuubi Server

    Monitoring

    Monitoring Diamond

    Monitoring jmxtrans

    MariaDB

    MariaDB Master server

    Solr

    Solr Server

    Spark

    Spark Client

    Spark Thrift server

    Spark3

    Spark3 Client

    Sqoop

    Sqoop Client

    SSM

    SSM Server

    SSM Agent

    YARN

    YARN Client

    YARN NodeManager

    YARN Timeline server

    Zookeeper

    Zookeeper Server
    Хост Сервис Компонент

    Host 1

    Flink

    Flink JobManager

    Flink TaskManager

    Flink SQL-Gateway

    HDFS

    HDFS JournalNode

    HDFS NameNode

    HDFS ZKFC

    Hive

    Hive Metastore

    Impala

    Impala Statestore

    Impala Catalog Service

    Monitoring

    Monitoring Diamond

    Solr

    Solr Server

    Spark

    Spark History server

    YARN

    MapReduce History server

    Zookeeper

    Zookeeper Server

    Host 2

    Airflow

    Airflow Server

    Airflow Metastore

    Airflow broker

    HBase

    HBase Master server

    HBase Phoenix query server

    HDFS

    HDFS JournalNode

    HDFS HttpFS server

    Hive

    Hive HiveServer2

    Hive TezUI

    Monitoring

    Monitoring Diamond

    Solr

    Solr Server

    Spark

    Spark Livy server

    Sqoop

    Sqoop Metastore

    YARN

    YARN ResourceManager

    Zeppelin

    Zeppelin Server

    Zookeeper

    Zookeeper Server

    Host 3

    Arenadata PostgreSQL

    Arenadata PostgreSQL

    HBase

    HBase Thrift2 server

    HDFS

    HDFS NameNode

    HDFS ZKFC

    HDFS JournalNode

    Kyuubi

    Kyuubi Server

    Monitoring

    Monitoring Diamond

    Monitoring jmxtrans

    MariaDB

    MariaDB Master server

    Solr

    Solr Server

    Spark

    Spark Thrift server

    SSM

    SSM Server

    SSM Agent

    YARN

    YARN Timeline server

    Zookeeper

    Zookeeper Server

    Host 4

    Flink

    Flink Client

    HDFS

    HDFS DataNode

    HDFS Client

    HBase

    HBase Client

    HBase RegionServer

    Hive

    Hive Tez

    Hive Client

    Impala

    Impala Daemon

    Impala Client

    Monitoring

    Monitoring Diamond

    Spark

    Spark Client

    Spark3

    Spark3 Client

    Sqoop

    Sqoop Client

    YARN

    YARN NodeManager

    YARN Client

    Host 5

    Flink

    Flink Client

    HBase

    HBase Client

    HBase RegionServer

    HDFS

    HDFS DataNode

    HDFS Client

    Hive

    Hive Tez

    Hive Client

    Impala

    Impala Daemon

    Monitoring

    Monitoring Diamond

    Spark

    Spark Client

    Spark3

    Spark3 Client

    Sqoop

    Sqoop Client

    YARN

    YARN NodeManager

    YARN Client

    Host 6

    Flink

    Flink Client

    HBase

    HBase Client

    HBase RegionServer

    HDFS

    HDFS DataNode

    HDFS Client

    Hive

    Hive Tez

    Hive Client

    Impala

    Impala Daemon

    Monitoring

    Monitoring Diamond

    Spark

    Spark Client

    Spark3

    Spark3 Client

    Sqoop

    Sqoop Client

    YARN

    YARN NodeManager

    YARN Client
    Хост Сервис Компонент

    Host 1

    Flink

    Flink JobManager

    Flink TaskManager

    Flink SQL-Gateway

    HDFS

    HDFS JournalNode

    HDFS NameNode

    HDFS ZKFC

    Hive

    Hive Metastore

    Impala

    Impala Statestore

    Impala Catalog Service

    Monitoring

    Monitoring Diamond

    Solr

    Solr Server

    Spark

    Spark History server

    YARN

    MapReduce History server

    Zookeeper

    Zookeeper Server

    Host 2

    Airflow

    Airflow Server

    Airflow Metastore

    Airflow broker

    Flink

    Flink TaskManager

    HBase

    HBase Master server

    HBase Phoenix query server

    HDFS

    HDFS JournalNode

    HDFS HttpFS server

    Hive

    Hive HiveServer2

    Hive TezUI

    Monitoring

    Monitoring Diamond

    Solr

    Solr Server

    Spark

    Spark Livy server

    Sqoop

    Sqoop Metastore

    YARN

    YARN ResourceManager

    Zeppelin

    Zeppelin Server

    Zookeeper

    Zookeeper Server

    Host 3

    HBase

    HBase Thrift2 server

    HDFS

    HDFS NameNode

    HDFS ZKFC

    HDFS JournalNode

    Monitoring

    Monitoring Diamond

    Monitoring jmxtrans

    MariaDB

    MariaDB Master server

    Solr

    Solr Server

    Spark

    Spark Thrift server

    YARN

    YARN Timeline server

    Zeppelin

    Zeppelin Server

    Zookeeper

    Zookeeper Server

    Host 4

    Arenadata PostgreSQL

    Arenadata PostgreSQL

    HDFS

    HDFS JournalNode

    HDFS NameNode

    HDFS ZKFC

    HDFS HttpFS server

    HBase

    HBase Master server

    Kyuubi

    Kyuubi Server

    Solr

    Solr Server

    SSM

    SSM Server

    SSM Agent

    Zookeeper

    Zookeeper Server

    Host 5

    HDFS

    HDFS JournalNode

    HDFS NameNode

    HDFS ZKFC

    HBase

    HBase Master server

    Solr

    Solr Server

    Zookeeper

    Zookeeper Server

    Host 6

    Flink

    Flink Client

    HDFS

    HDFS DataNode

    HDFS Client

    HBase

    HBase Client

    HBase RegionServer

    Hive

    Hive Tez

    Hive Client

    Impala

    Impala Daemon

    Impala Client

    Monitoring

    Monitoring Diamond

    Solr

    Solr Server

    Spark

    Spark Client

    Sqoop

    Sqoop Client

    YARN

    YARN NodeManager

    YARN Client

    Host 7

    Flink

    Flink Client

    HDFS

    HDFS DataNode

    HDFS Client

    HBase

    HBase Client

    HBase RegionServer

    Hive

    Hive Tez

    Hive Client

    Impala

    Impala Daemon

    Monitoring

    Monitoring Diamond

    Solr

    Solr Server

    Spark

    Spark Client

    Sqoop

    Sqoop Client

    YARN

    YARN NodeManager

    YARN Client

    Host 8

    Flink

    Flink Client

    HDFS

    HDFS DataNode

    HDFS Client

    HBase

    HBase Client

    HBase RegionServer

    Hive

    Hive Tez

    Hive Client

    Impala

    Impala Daemon

    Monitoring

    Monitoring Diamond

    Spark

    Spark Client

    Sqoop

    Sqoop Client

    YARN

    YARN NodeManager

    YARN Client

    Host 9

    Flink

    Flink Client

    HDFS

    HDFS DataNode

    HDFS Client

    HBase

    HBase Client

    HBase RegionServer

    Hive

    Hive Tez

    Hive Client

    Impala

    Impala Daemon

    Monitoring

    Monitoring Diamond

    Spark

    Spark Client

    Sqoop

    Sqoop Client

    YARN

    YARN NodeManager

    YARN Client

  4. После завершения распределения компонентов нажмите Save.

    Сохранение распределения компонентов
    Сохранение распределения компонентов

  5. Для перехода к альтернативному варианту просмотра — с разбиением по хостам — можно открыть вкладку Hosts view.

    Просмотр распределения по хостам
    Просмотр распределения по хостам
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней