Конфигурационные параметры Hue

Константин Алпашкин

Свернуть контент Развернуть контент

Для конфигурации сервиса используйте следующие параметры, доступные в ADCM.

ПРИМЕЧАНИЕ

Некоторые из перечисленных параметров становятся доступны в UI ADCM после установки флага Advanced.
Значения, установленные в Custom-параметрах, перепишут текущие значения параметров, даже если они read-only.

Компонент HUE Server

Синтаксис hue.ini

Конфигурационный файл hue.ini, отображаемый в веб-интерфейсе ADCM, имеет синтаксис, отличный от синтаксиса исходного файла. В исходном файле уровень вложенности определяется при помощи размещения имен секций в соответствующем количестве квадратных скобок. Пример:

[notebook]
show_notebooks=true
[[interpreters]]
[[[mysql]]]
name = MySQL
interface=sqlalchemy
options='{"url": "mysql://root:secret@database:3306/hue"}'
[[[hive]]]
name=Hive
interface=hiveserver2

В ADCM уровень вложенности определяется при помощи разделения имен секций точками. Структура из примера выше будет выглядеть следующим образом:

notebook.show_notebooks: true
notebook.interpreters.mysql.name: MySQL
notebook.interpreters.mysql.interface: sqlalchemy
notebook.interpreters.mysql.options: '{"url": "mysql://root:secret@database:3306/hue"}'
notebook.interpreters.hive.name: Hive
notebook.interpreters.hive.interface: hiveserver2

hue.ini
Параметр	Описание	Значение по умолчанию
desktop.enable_prometheus	Определяет, включен ли сбор метрик Prometheus	false
desktop.http_host	IP-адрес, который прослушивает HUE Server	0.0.0.0
desktop.http_port	Порт, который прослушивает HUE Server	8000
desktop.use_cherrypy_server	Определяет используемый веб-сервер: CherryPy (`true`) или Gunicorn (`false`)	false
desktop.gunicorn_work_class	Тип рабочего процесса для Gunicorn: `gevent`, `eventlet`, `gthread` или `sync`	gthread
desktop.secret_key	Случайная строка, используемая для безопасного хеширования в сессионном хранилище	jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o
desktop.enable_xff_for_hive_impala	Определяет, используется ли заголовок `X-Forwarded-For`, если Hive или Impala его требуют	false
desktop.enable_x_csrf_token_for_hive_impala	Определяет, используется ли заголовок `X-CSRF-Token`, если Hive или Impala его требуют	false
desktop.app_blacklist	Разделенный запятыми список приложений, которые не требуется загружать при запуске сервера	security,pig,sqoop,oozie,hbase,search
desktop.auth.backend	Список комбинаций бэкендов аутентификации в порядке приоритета, разделенных запятыми	desktop.auth.backend.AllowFirstUserDjangoBackend
desktop.database.host	Сетевой или IP-адрес БД HUE Server	{{ groups['adpg.adpg'][0] \| d(omit) }}
desktop.database.port	Сетевой порт БД HUE Server	5432
desktop.database.engine	Движок, используеумый БД HUE Server	postgresql_psycopg2
desktop.database.user	Имя администраторской учетной записи для БД HUE Server	hue
desktop.database.name	Имя БД HUE Server	hue
desktop.database.password	Пароль учетной записи, заданной в параметре `desktop.database.user`	—
desktop.auth_username	Имя пользователя для аутентификации в веб-интерфейсе HUE	—
desktop.auth_password	Пароль для аутентификации в веб-интерфейсе HUE	—

Interpreter Impala
Параметр	Описание	Значение по умолчанию
notebook.interpreters.impala.name	Имя интерпретатора Impala	impala
notebook.interpreters.impala.interface	Интерфейс интерпретатора Impala	hiveserver2
impala.server_host	Хост Impala Server (одного из компонентов Impala Daemon)	—
impala.server_port	Порт Impala Server	21050
impala.impersonation_enabled	Определяет, имперсонировать ли пользователей при работе с Impala	true
impala.impala_conf_dir	Путь к каталогу конфигурации Impala, содержащему файл impalad_flags	/etc/hue/conf
impala.ssl.cacerts	Путь к сертификатам УЦ	/etc/pki/tls/certs/ca-bundle.crt
impala.ssl.validate	Определяет, следует ли HUE валидировать сертификаты, полученные от сервера	false
impala.ssl.enabled	Включает SSL-коммуникацию для этого сервера	false
impala.impala_principal	Принципал Kerberos для Impala	—
impala.auth_username	Имя пользователя для аутентификации в Impala	—
impala.auth_password	Пароль для аутентификации в Impala	—

Interpreter HDFS
Параметр	Описание	Значение по умолчанию
hadoop.hdfs_clusters.default.webhdfs_url	WebHDFS- или HttpFS-эндпойнт ссылка для доступа к данным HDFS	—
hadoop.hdfs_clusters.default.hadoop_conf_dir	Путь к каталогу конфигурационных файлов Hadoop	/etc/hadoop/conf
hadoop.hdfs_clusters.default.security_enabled	Определяет, используется ли Kerberos для защиты кластера Hyperwave	false
hadoop.hdfs_clusters.default.ssl_cert_ca_verify	Определяет, верифицировать ли SSL-сертификаты удостоверяющим центром	false

Interpreter Hive
Параметр	Описание	Значение по умолчанию
notebook.interpreters.hive.name	Имя интерпретатора Hive	hive
notebook.interpreters.hive.interface	Интерфейс интерпретатора Hive	hiveserver2
beeswax.hive_discovery_hs2	Определяет, используется ли обнаружение сервисов для HiveServer2	true
beeswax.hive_conf_dir	Путь к каталогу конфигурации Hive, содержащему файл hive-site.xml	/etc/hive/conf
beeswax.use_sasl	Определяет, использовать ли фреймворк SASL для установки соединения с хостом	true
beeswax.hive_discovery_hiveserver2_znode	Адрес znode HiveServer2, если Hive использует режим обнаружения сервисов ZooKeeper	hive.server2.zookeeper.namespace
libzookeeper.ensemble	Список хостов и портов участников ансамбля ZooKeeper	host1:2181,host2:2181,host3:2181
libzookeeper.principal_name	Принципал Kerberos для ZooKeeper	—
beeswax.auth_username	Имя пользователя для аутентификации в Hive	—
beeswax.auth_password	Пароль для аутентификации в Hive	—

Interpreter YARN
Параметр	Описание	Значение по умолчанию
hadoop.yarn_clusters.default.resourcemanager_host	Сетевой адрес хоста, на котором работает Resource Manager	—
hadoop.yarn_clusters.default.resourcemanager_port	Порт, который прослушивает Resource Manager IPC	8031
hadoop.yarn_clusters.default.submit_to	Определяет, что задачи отправляются на выполнение этим кластером	true
hadoop.yarn_clusters.default.logical_name	Логическое имя Resource Manager (необходимо для режима High Availability)	—
hadoop.yarn_clusters.default.security_enabled	Определяет, используется ли Kerberos для защиты кластера YARN	false
hadoop.yarn_clusters.default.ssl_cert_ca_verify	Определяет, верифицировать ли SSL-сертификаты от YARN Rest API удостоверяющим центром при использовании безопасного режима (HTTPS)	false
hadoop.yarn_clusters.default.resourcemanager_api_url	URL Resource Manager API	—
hadoop.yarn_clusters.default.proxy_api_url	URL первого Resource Manager API	—
hadoop.yarn_clusters.default.history_server_api_url	URL History Server API	—
hadoop.yarn_clusters.default.spark_history_server_url	URL Spark History Server	—
hadoop.yarn_clusters.default.spark_history_server_security_enabled	Определяет, используется ли Kerberos для защиты Spark History Server	false
hadoop.yarn_clusters.ha.resourcemanager_host	Сетевой адрес хоста, на котором работает Resource Manager (режим High Availability)	—
hadoop.yarn_clusters.ha.resourcemanager_port	Порт, который прослушивает Resource Manager IPC (режим High Availability)	—
hadoop.yarn_clusters.ha.logical_name	Логическое имя Resource Manager (необходимо для режима High Availability)	—
hadoop.yarn_clusters.ha.security_enabled	Определяет, используется ли Kerberos для защиты кластера YARN (режим High Availability)	false
hadoop.yarn_clusters.ha.submit_to	Определяет, что задачи отправляются на выполнение этим кластером (режим High Availability)	true
hadoop.yarn_clusters.ha.ssl_cert_ca_verify	Определяет, верифицировать ли SSL-сертификаты от YARN Rest API удостоверяющим центром при использовании безопасного режима (HTTPS) (режим High Availability)	false
hadoop.yarn_clusters.ha.resourcemanager_api_url	URL Resource Manager API (режим High Availability)	—
hadoop.yarn_clusters.ha.history_server_api_url	URL History Server API (режим High Availability)	—
hadoop.yarn_clusters.ha.spark_history_server_url	URL Spark History Server (режим High Availability)	—
hadoop.yarn_clusters.ha.spark_history_server_security_enabled	Определяет, используется ли Kerberos для защиты Spark History Server (режим High Availability)	false

Interpreter Kyuubi
Параметр	Описание	Значение по умолчанию
notebook.dbproxy_extra_classpath	Путь к классам, добавляемый к classpath DBProxy server по умолчанию	/usr/share/java/kyuubi-hive-jdbc.jar
notebook.interpreters.kyuubi.name	Имя интерпретатора Kyuubi	Kyuubi[Spark3]
notebook.interpreters.kyuubi.options	Специальные параметры подключения к серверу Kyuubi	—
notebook.interpreters.kyuubi.interface	Интерфейс сервиса Kyuubi	jdbc

Interpreter Trino
Параметр	Описание	Значение по умолчанию
notebook.interpreters.trino.name	Имя интерпретатора Trino	Trino
notebook.interpreters.trino.interface	Интерфейс сервиса Trino	trino
notebook.interpreters.trino.options	Специальные параметры подключения к серверу Trino	`{ "url": "", "auth_type": "basic", "kerberos_principal": "", "kerberos_service_name": "HTTP", "kerberos_force_preemptive": true, "kerberos_delegate": true, "ssl_cert_ca_verify": false }`

Interpreter Ozone
Параметр	Описание	Значение по умолчанию
desktop.ozone.default.webhdfs_url	WebHDFS- или HttpFS-эндпойнт ссылка для доступа к данным HDFS	—
desktop.ozone.default.ozone_conf_dir	Путь к директории с конфигурацией Ozone	/etc/ozone/conf
desktop.ozone.default.security_enabled	Определяет, используется ли Kerberos для защиты кластера Ozone	false
desktop.ozone.default.ssl_cert_ca_verify	Определяет, верифицировать ли SSL-сертификаты удостоверяющим центром	false
desktop.ozone.default.fs_defaultfs	Идентификатор сервиса Ozone	—

hue.ini kerberos config
Параметр	Описание	Значение по умолчанию
desktop.kerberos.hue_keytab	Путь к keytab-файлу Kerberos для HUE	—
desktop.kerberos.hue_principal	Принципал Kerberos для HUE	—
desktop.kerberos.kinit_path	Путь к утилите `kinit`	/usr/bin/kinit
desktop.kerberos.reinit_frequency	Интервал в секундах, через который HUE обновляет свой keytab-файл	3600
desktop.kerberos.ccache_path	Путь к кешу Kerberos, хранящему учетные данные	/tmp/hue_krb5_ccache
desktop.kerberos.krb5_renewlifetime_enabled	Этот параметр должен иметь значение `false`, если параметр `renew_lifetime` в файле krb5.conf имеет значение `0m`	false
desktop.auth.auth	Тип аутентификации	—

Authentication on WEB UIs
Параметр	Описание	Значение по умолчанию
desktop.kerberos.kerberos_auth	Определяет, использовать ли Kerberos-аутентификацию для HTTP-клиентов на основе текущего тикета	false
desktop.kerberos.spnego_principal	Принципал Kerberos по умолчанию для HTTP-клиента	—

hue.ini SSL config
Параметр	Описание	Значение по умолчанию
desktop.ssl_certificate	Путь к файлу SSL-сертификата	/etc/ssl/certs/host_cert.cert
desktop.ssl_private_key	Путь к файлу закрытого ключа SSL RSA	/etc/ssl/host_cert.key
desktop.ssl_password	Пароль SSL-сертификата	—
desktop.ssl_no_renegotiation	Отключает всё повторное согласование для TLS версии 1.2 и более ранних	true
desktop.ssl_validate	Определяет, следует ли HUE валидировать сертификаты, полученные от сервера	false
desktop.ssl_cacerts	Этот параметр должен иметь значение `false`, если параметр `renew_lifetime` в файле krb5.conf имеет значение `0m`	/etc/pki/tls/certs/ca-bundle.crt
desktop.session.secure	Определяет, будут ли cookie, содержащие идентификатор сессии пользователя и csrf, использовать флаг `secure`	true
desktop.session.http_only	Определяет, будут ли cookie, содержащие идентификатор сессии пользователя и csrf, использовать флаг `HTTP only`	false

LDAP security
Параметр	Описание	Значение по умолчанию
desktop.ldap.ldap_url	URL LDAP-сервера	—
desktop.ldap.base_dn	База поиска для пользователей и групп	"DC=mycompany,DC=com"
desktop.ldap.nt_domain	NT-домен, используемый для LDAP-аутентификации	mycompany.com
desktop.ldap.ldap_cert	Файлы сертификатов в PEM-формате для УЦ, которые будут доверенными для HUE при TLS-аутентификации	—
desktop.ldap.use_start_tls	Установите значение `true`, если вы не используете Secure LDAP (LDAPS), но хотите использовать защищенные подключения с помощью TLS	true
desktop.ldap.bind_dn	Уникальное имя (DN) bind-пользователя	"CN=ServiceAccount,DC=mycompany,DC=com"
desktop.ldap.bind_password	Пароль bind-пользователя	—
desktop.ldap.ldap_username_pattern	Шаблон для поиска имени пользователя. Заполните поле `<username>` в этом параметре	"uid=<username>,ou=People,dc=mycompany,dc=com"
desktop.ldap.create_users_on_login	Определяет, создавать ли пользователей в HUE при попытке входа под учетными данными LDAP	true
desktop.ldap.sync_groups_on_login	Определяет, синхронизировать ли группы пользователей при их входе	true
desktop.ldap.login_groups	Список групп LDAP, разделенных запятыми, содержащих пользователей, которым разрешен вход	—
desktop.ldap.ignore_username_case	Определяет, игнорировать ли регистр учетных записей пользователей при поиске существующих пользователей	true
desktop.ldap.force_username_lowercase	Определяет, следует ли принудительно использовать нижний регистр для учетных записей пользователей при их создании из LDAP	true
desktop.ldap.force_username_uppercase	Определяет, следует ли принудительно использовать верхний регистр для учетных записей пользователей при их создании из LDAP. Этот параметр нельзя включать одновременно с параметром `desktop.ldap.force_username_lowercase`	false
desktop.ldap.search_bind_authentication	Включает аутентификацию search bind	true
desktop.ldap.subgroups	Определяет, какую группировку использовать: вложенную или подчиненную (не используется)	nested
desktop.ldap.nested_members_search_depth	Количество уровней поиска для вложенных членов	10
desktop.ldap.follow_referrals	Определяет, следует ли переходить по отсылкам	false
desktop.ldap.users.user_filter	Базовый фильтр для поиска пользователей	"objectclass=*"
desktop.ldap.users.user_name_attr	Атрибут имени пользователя в схеме LDAP	sAMAccountName
desktop.ldap.groups.group_filter	Базовый фильтр для поиска групп	"objectclass=*"
desktop.ldap.groups.group_name_attr	Атрибут имени группы в схеме LDAP	cn
desktop.ldap.groups.group_member_attr	Атрибут объекта группы, идентифицирующего членов группы	member

Другие параметры
Параметр	Описание	Значение по умолчанию
Enable custom ulimits	Включение этой опции позволяет указать ограничения на использование ресурсов для процесса (ulimits). Если значения не указаны, будут использованы системные настройки по умолчанию. Настройки ulimit описаны в таблице ниже	`[Service] LimitCPU= LimitFSIZE= LimitDATA= LimitSTACK= LimitCORE= LimitRSS= LimitNOFILE= LimitAS= LimitNPROC= LimitMEMLOCK= LimitLOCKS= LimitSIGPENDING= LimitMSGQUEUE= LimitNICE= LimitRTPRIO= LimitRTTIME=`
Custom hue.ini	В этой секции вы можете указать значения для кастомных параметров, которые не отображаются в интерфейсе ADCM, но могут присутствовать в конфигурационном файле hue.ini. Список доступных параметров можно найти в документации HUE	—
log.conf	Файл конфигурации с объявлением различных объектов логирования	log.conf
Custom impalad_flags	Пользовательские значения параметров, которые будут использоваться вместо исходных	—

Ulimit settings
Параметр	Описание	Соответствующая опция команды ulimit в CentOS
LimitCPU	Ограничение в секундах на количество процессорного времени, которое может потреблять процесс	cpu time ( -t)
LimitFSIZE	Максимальный размер файлов, которые может создать процесс, в блоках по 512 байт	file size ( -f)
LimitDATA	Максимальный размер сегмента данных процесса, в килобайтах	data seg size ( -d)
LimitSTACK	Максимальный размер стека, выделенный процессу, в килобайтах	stack size ( -s)
LimitCORE	Максимальный размер файла дампа (core dump) в байтах, который процесс может сохранить, в блоках по 512 байт	core file size ( -c)
LimitRSS	Максимальное количество памяти RAM (resident set size), которое может быть выделено процессу, в килобайтах	max memory size ( -m)
LimitNOFILE	Максимальное количество дескрипторов открытых файлов, разрешенное для процесса	open files ( -n)
LimitAS	Максимальный размер виртуальной памяти (адресного пространства) процесса, в килобайтах	virtual memory ( -v)
LimitNPROC	Максимальное количество процессов	max user processes ( -u)
LimitMEMLOCK	Максимальный размер памяти, который может быть заблокирован для процесса, в килобайтах. Блокировка памяти гарантирует, что память всегда находится в оперативной памяти (RAM) и файл подкачки не используется	max locked memory ( -l)
LimitLOCKS	Максимальное количество файлов, заблокированных процессом	file locks ( -x)
LimitSIGPENDING	Максимальное количество сигналов, ожидающих доставки в вызывающий поток	pending signals ( -i)
LimitMSGQUEUE	Максимальное количество байтов в очередях сообщений POSIX. Очереди сообщений POSIX позволяют процессам обмениваться данными в форме сообщений	POSIX message queues ( -q)
LimitNICE	Максимальный уровень приоритета NICE, который может быть назначен процессу	scheduling priority ( -e)
LimitRTPRIO	Максимальный приоритет планирования в реальном времени	real-time priority ( -r)
LimitRTTIME	Максимальный размер буфера конвейера (pipe), в блоках по 512 байт	pipe size ( -p)

Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней