Конфигурационные параметры Kyuubi

Константин Алпашкин

Для конфигурации сервиса используйте следующие параметры, доступные в ADCM.

ПРИМЕЧАНИЕ

  • Некоторые из перечисленных параметров становятся доступны в UI ADCM после установки флага Advanced.

  • Значения, установленные в Custom-параметрах, перепишут текущие значения параметров, даже если они read-only.
Компонент Kyuubi Server
kyuubi-defaults.conf
Параметр Описание Значение по умолчанию

kyuubi.frontend.rest.bind.port

Порт, на котором работает сервис REST

10099

kyuubi.frontend.thrift.binary.bind.port

Порт, на котором работает сервис Thrift через бинарный протокол

10099

kyuubi.frontend.thrift.http.bind.port

Порт, на котором работает сервис Thrift через HTTP

10010

kyuubi.frontend.thrift.http.path

Компонент path URL-эндпоинта HTTP-версии Thrift

cliservice

kyuubi.engine.share.level

Уровень разделения движка. Возможные значения: CONNECTION (один движок на подключение), USER (один движок на пользователя), GROUP (один движок на группу), SERVER (один движок на сервер)

USER

kyuubi.engine.type

Тип движка, поддерживаемый Kyuubi. Возможные значения: SPARK_SQL, FLINK_SQL, TRINO, HIVE_SQL, JDBC

SPARK_SQL

kyuubi.operation.language

Язык программирования для интерпретации входных команд. Возможные значения: SQL, SCALA, PYTHON

SQL

kyuubi.frontend.protocols

Список поддерживаемых фронтенд-протоколов, разделенных запятой. Возможные элементы списка: THRIFT_BINARY, THRIFT_HTTP, REST

THRIFT_BINARY

kyuubi.frontend.thrift.binary.ssl.disallowed.protocols

Версии SSL, которые запрещено использовать Thrift при использовании бинарного протокола

SSLv2,SSLv3,TLSv1.1

kyuubi.frontend.thrift.http.ssl.protocol.blacklist

Версии SSL, которые запрещено использовать Thrift при использовании протокола HTTP

SSLv2,SSLv3,TLSv1.1

kyuubi.ha.addresses

Внешние адреса экземпляров Kyuubi

<hostname_1>:2181, …​, <hostname_N>:2181

kyuubi.ha.namespace

Корневая директория сервиса для разворачивания URI-экземпляра

kyuubi

kyuubi.metadata.store.jdbc.database.type

Тип базы данных для хранения серверных метаданных. Возможные значения: SQLITE, MYSQL, POSTGRESQL

POSTGRESQL

kyuubi.metadata.store.jdbc.url

JDBC-строка для подключения к хранилищу серверных метаданных

jdbc:postgresql://{{ groups['adpg.adpg'][0] | d(omit) }}:5432/kyuubi

kyuubi.metadata.store.jdbc.driver

Имя класса JDBC-драйвера для хранилища серверных метаданных

org.postgresql.Driver

kyuubi.metadata.store.jdbc.user

Имя пользователя для хранилища серверных метаданных

kyuubi

kyuubi.metadata.store.jdbc.password

Пароль пользователя для хранилища серверных метаданных

 — 

kyuubi.metrics.enabled

Включает сбор метрик с Kyuubi Server

false

kyuubi.metrics.reporters

Сервис мониторинга для сбора метрик

PROMETHEUS

kyuubi.metrics.prometheus.port

Порт Prometheus

10019

kyuubi.metrics.prometheus.path

Эндпойнт Prometheus для отображения метрик

/metrics

kyuubi.frontend.thrift.binary.ssl.enabled

Указывает, использовать ли SSL-шифрование при использовании Thrift с бинарным протоколом

false

kyuubi.frontend.thrift.http.use.SSL

Указывает, использовать ли SSL-шифрование при использовании Thrift с протоколом HTTP

false

kyuubi.frontend.ssl.keystore.type

Тип хранилища ключей SSL-сертификатов

 — 

kyuubi.frontend.ssl.keystore.path

Путь к хранилищу ключей SSL-сертификатов

 — 

kyuubi.frontend.ssl.keystore.password

Пароль от хранилища ключей SSL-сертификатов

 — 

kyuubi.frontend.thrift.http.ssl.keystore.path

Путь к хранилищу ключей SSL-сертификатов

 — 

kyuubi.frontend.thrift.http.ssl.keystore.password

Пароль от хранилища ключей SSL-сертификатов

 — 

kyuubi.authentication

Тип аутентификации. Возможные значения: NONE, LDAP, LDAP,KERBEROS

NONE

kyuubi.ha.zookeeper.acl.enabled

Указывает, керберизован ли ансамбль ZooKeeper

false

kyuubi.ha.zookeeper.auth.type

Тип аутентификации в ZooKeeper. Возможные значения: NONE, KERBEROS

NONE

kyuubi.ha.zookeeper.auth.principal

Имя принципала Kerberos, используемое для аутентификации в ZooKeeper

 — 

kyuubi.ha.zookeeper.auth.keytab

Путь к keytab-файлу Kyuubi Server, используемому для аутентификации в ZooKeeper

 — 

kyuubi.kinit.principal

Имя принципала в Kerberos

 — 

kyuubi.kinit.keytab

Путь к keytab-файлу Kyuubi Server

 — 

kyuubi.spnego.principal

Имя принципала в SPNego. Следует заполнять только в случае использования SPNego для аутентификации

 — 

kyuubi.spnego.keytab

Путь к keytab-файлу SPNego. Следует заполнять только в случае использования SPNego для аутентификации

 — 

kyuubi.engine.hive.java.options

Дополнительные Java-опции для движка Hive

 — 
LDAP Security
Параметр Описание Значение по умолчанию

kyuubi.authentication.ldap.url

Список ссылок для LDAP-подключения, разделенных пробелами

 — 

kyuubi.authentication.ldap.domain

LDAP-домен

 — 

kyuubi.authentication.ldap.binddn

Отличительное имя пользователя для привязки во время поиска по пользователям/группам. Если значение не указано, то будет использовано username пользователя, пытающегося пройти аутентификацию. Например, CN=bindUser,CN=Users,DC=subdomain,DC=domain,DC=com

 — 

kyuubi.authentication.ldap.bindpw

Пароль пользователя для привязки. Необходим, только если указан kyuubi.authentication.ldap.binddn

 — 

kyuubi.authentication.ldap.baseDN

Базовый DN для поиска

 — 

kyuubi.authentication.ldap.groupClassKey

Наименование LDAP-атрибута группы для поиска. Например, group, groupOfNames или groupOfUniqueNames

 — 

kyuubi.authentication.ldap.groupDNPattern

Список шаблонов, разделенных точкой с запятой, который будет применяться для поиска названий групп в данной директории. Для подстановки имени группы в нужном месте используйте %s — например, CN=%s,CN=Groups,DC=subdomain,DC=domain,DC=com

 — 

kyuubi.authentication.ldap.groupFilter

Список наименований (коротких имен) групп, разделенных запятыми. Например, HiveAdmins,HadoopAdmins,Administrators

 — 

kyuubi.authentication.ldap.groupMembershipKey

Наименование LDAP-атрибута группы, содержащего список отличительных имен участников группы. Например, member, uniqueMember или memberUid

 — 

kyuubi.authentication.ldap.guidKey

Наименования LDAP-атрибута, значения которого уникальны в пределах LDAP-сервера. Например, uid или CN

 — 

kyuubi.authentication.ldap.userDNPattern

Список шаблонов, разделенных точкой с запятой, который будет применяться для поиска названий групп в данной директории. Для подстановки имени пользователя в нужном месте используйте %s — например, CN=%s,CN=Users,DC=subdomain,DC=domain,DC=com

 — 

kyuubi.authentication.ldap.userFilter

Список наименований (коротких имен) пользователей, разделенных запятыми. Например, hiveuser,impalauser,hiveadmin,hadoopadmin

 — 

kyuubi.authentication.ldap.userMembershipKey

Наименование LDAP-атрибута пользователя, содержащего список групп, в которых данный пользователь является участником. Основную (primary) группу указывать не требуется. Например, memberOf

 — 
kyuubi-env.sh
Параметр Описание Значение по умолчанию

KYUUBI_HOME

Домашняя директория Kyuubi

/usr/lib/kyuubi

KYUUBI_CONF_DIR

Директория, в которой хранятся конфигурации Kyuubi

/etc/kyuubi/conf

KYUUBI_LOG_DIR

Директория, в которой хранятся логи Kyuubi

/var/log/kyuubi

KYUUBI_PID_DIR

Директория, в которой хранится .pid-файл экземпляра Kyuubi

/var/run/kyuubi

KYUUBI_ADDITIONAL_CLASSPATH

Дополнительные файлы и директории, которые должны быть добавлены в classpath Kyuubi. Например, библиотеки SSM для сбора статистики. Список файлов и директорий, которые должны быть добавлены в classpath. Чтобы добавить директорию или файл в classpath, кликните Plus icon Plus icon

  • /usr/lib/ssm/lib/smart*

HADOOP_HOME

Домашняя директория Hadoop

/usr/lib/hadoop

HADOOP_LIB_DIR

Директория, в которой хранятся библиотеки Hadoop

${HADOOP_HOME}/lib

KYUUBI_JAVA_OPTS

Параметры Java-машины для Kyuubi

-Djava.library.path=${HADOOP_LIB_DIR}/native/ -Djava.io.tmpdir={{ cluster.config.java_tmpdir | d('/tmp') }}

HADOOP_CLASSPATH

Список файлов и директорий, которые должны быть добавлены в classpath. Чтобы добавить директорию или файл в classpath, кликните Plus icon Plus icon

  • $HADOOP_CLASSPATH

  • /usr/lib/ssm/lib/smart*

HADOOP_CONF_DIR

Директория, в которой хранятся конфигурации Hadoop

/etc/hadoop/conf

SPARK_HOME

Домашняя директория Spark

/usr/lib/spark3

SPARK_CONF_DIR

Директория, в которой хранятся конфигурации Spark

/etc/spark3/conf

FLINK_HOME

Домашняя директория Flink

/usr/lib/flink

FLINK_CONF_DIR

Директория, в которой хранятся конфигурации Flink

/etc/flink/conf

FLINK_HADOOP_CLASSPATH

Дополнительные JAR-файлы Hadoop, необходимые Kyuubi при использовании движка Flink. Список файлов и директорий, которые должны быть добавлены в classpath. Чтобы добавить директорию или файл в classpath, кликните Plus icon Plus icon

  • $(hadoop classpath)

  • /usr/lib/ssm/lib/smart*

HIVE_HOME

Домашняя директория Hive

/usr/lib/hive

HIVE_CONF_DIR

Директория, в которой хранятся конфигурации Hive

/etc/hive/conf

HIVE_HADOOP_CLASSPATH

Дополнительные JAR-файлы Hadoop, необходимые Kyuubi при использовании движка Hive. Список файлов и директорий, которые должны быть добавлены в classpath. Чтобы добавить директорию или файл в classpath, кликните Plus icon Plus icon

  • $(hadoop classpath)

  • /etc/tez/conf/

  • /usr/lib/tez/*

  • /usr/lib/tez/lib/*

  • /usr/lib/ssm/lib/smart*
Другие параметры
Параметр Описание Значение по умолчанию

Custom properties

В этой секции вы можете указать значения для кастомных параметров, которые не отображаются в интерфейсе ADCM, но могут быть использованы сервисом Kyuubi

 — 

Custom kyuubi-env.sh

В этой секции вы можете указать значения для кастомных параметров, которые не отображаются в интерфейсе ADCM, но могут присутствовать в конфигурационном файле kyuubi-env.sh

 — 

Enable custom ulimits

Включение этой опции позволяет указать ограничения на использование ресурсов для процесса (ulimits). Если значения не указаны, будут использованы системные настройки по умолчанию. Настройки ulimit описаны в таблице ниже

 
[Service]
LimitCPU=
LimitFSIZE=
LimitDATA=
LimitSTACK=
LimitCORE=
LimitRSS=
LimitNOFILE=
LimitAS=
LimitNPROC=
LimitMEMLOCK=
LimitLOCKS=
LimitSIGPENDING=
LimitMSGQUEUE=
LimitNICE=
LimitRTPRIO=
LimitRTTIME=

Custom log4j2-repl.xml

Содержимое конфигурационного файла log4j2-repl.xml

log4j2-repl.xml

log4j2.xml

Содержимое конфигурационного файла log4j2.xml

log4j2.xml
Ulimit settings
Параметр Описание Соответствующая опция команды ulimit в CentOS

LimitCPU

Ограничение в секундах на количество процессорного времени, которое может потреблять процесс

cpu time ( -t)

LimitFSIZE

Максимальный размер файлов, которые может создать процесс, в блоках по 512 байт

file size ( -f)

LimitDATA

Максимальный размер сегмента данных процесса, в килобайтах

data seg size ( -d)

LimitSTACK

Максимальный размер стека, выделенный процессу, в килобайтах

stack size ( -s)

LimitCORE

Максимальный размер файла дампа (core dump) в байтах, который процесс может сохранить, в блоках по 512 байт

core file size ( -c)

LimitRSS

Максимальное количество памяти RAM (resident set size), которое может быть выделено процессу, в килобайтах

max memory size ( -m)

LimitNOFILE

Максимальное количество дескрипторов открытых файлов, разрешенное для процесса

open files ( -n)

LimitAS

Максимальный размер виртуальной памяти (адресного пространства) процесса, в килобайтах

virtual memory ( -v)

LimitNPROC

Максимальное количество процессов

max user processes ( -u)

LimitMEMLOCK

Максимальный размер памяти, который может быть заблокирован для процесса, в килобайтах. Блокировка памяти гарантирует, что память всегда находится в оперативной памяти (RAM) и файл подкачки не используется

max locked memory ( -l)

LimitLOCKS

Максимальное количество файлов, заблокированных процессом

file locks ( -x)

LimitSIGPENDING

Максимальное количество сигналов, ожидающих доставки в вызывающий поток

pending signals ( -i)

LimitMSGQUEUE

Максимальное количество байтов в очередях сообщений POSIX. Очереди сообщений POSIX позволяют процессам обмениваться данными в форме сообщений

POSIX message queues ( -q)

LimitNICE

Максимальный уровень приоритета NICE, который может быть назначен процессу

scheduling priority ( -e)

LimitRTPRIO

Максимальный приоритет планирования в реальном времени

real-time priority ( -r)

LimitRTTIME

Максимальный размер буфера конвейера (pipe), в блоках по 512 байт

pipe size ( -p)
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней