Конфигурационные параметры Impala

Encryption enable

Определяет, включено ли шифрование учетных данных

false

Credential provider path

Путь к провайдеру учетных данных для создания файлов .jceks, содержащих закрытые ключи

jceks://hdfs/apps/impala/security/impala.jceks

Ranger plugin credential provider path

Путь к провайдеру учетных данных плагина Ranger

jceks://file/etc/impala/conf/ranger-impala.jceks

Custom jceks

Определяет, используются ли кастомные файлы .jceks, расположенные по пути провайдера учетных данных (true), или автосгенерированные (false)

false

Password file name

Имя файла паролей в classpath сервиса, если использование файла паролей выбрано в опциях credstore

impala_credstore_pass

xasecure.audit.destination.solr.batch.filespool.dir

Путь к spool-каталогу

/srv/ranger/hdfs_plugin/audit_solr_spool

xasecure.audit.destination.solr.urls

URL сервера Solr для сохранения аудит-событий. Оставьте значение пустым или установите значение NONE при использовании ZooKeeper для подключения к Solr

 — 

xasecure.audit.destination.solr.zookeepers

Указывает строку подключения ZooKeeper для подключения к Solr

 — 

xasecure.audit.destination.solr.force.use.inmemory.jaas.config

Использует in-memory JAAS-файл для соединения с Solr

 — 

xasecure.audit.is.enabled

Активирует аудит Ranger

true

xasecure.audit.jaas.Client.loginModuleControlFlag

Определяет требование к успешному завершению работы модуля. Возможные значения: required, requisite, sufficient или optional

 — 

xasecure.audit.jaas.Client.loginModuleName

Имя класса-аутентификатора

 — 

xasecure.audit.jaas.Client.option.keyTab

Имя keytab-файла, из которого необходимо получить секретный ключ принципала

 — 

xasecure.audit.jaas.Client.option.principal

Имя используемого принципала

 — 

xasecure.audit.jaas.Client.option.serviceName

Имя пользователя или сервиса, для которого выполнятся логин

 — 

xasecure.audit.jaas.Client.option.storeKey

Установите значение true, чтобы keytab-файл или ключ принципала сохранялись в учетных данных субъекта

false

xasecure.audit.jaas.Client.option.useKeyTab

Установите значение true, чтобы модуль получал ключ принципала из keytab-файла

false

ranger.plugin.hive.policy.rest.url

 — 

ranger.plugin.hive.service.name

Имя сервиса Ranger, хранящего политики для данного инстанса Impala

 — 

ranger.plugin.hive.policy.cache.dir

Директория, в которой хранятся политики Ranger после успешного извлечения из источника

/srv/ranger/impala/policycache

ranger.plugin.hive.policy.pollIntervalMs

Период проверки политик на актуальность в миллисекундах

30000

ranger.plugin.hive.policy.rest.client.connection.timeoutMs

Тайм-аут соединения клиента Ranger REST в миллисекундах

120000

ranger.plugin.hive.policy.rest.client.read.timeoutMs

Тайм-аут чтения клиента Ranger REST в миллисекундах

30000

xasecure.hive.update.xapolicies.on.grant.revoke

Следует ли плагину Impala обновлять политики Ranger после изменения прав при помощи GRANT/REVOKE

true

ranger.plugin.hive.policy.rest.ssl.config.file

Путь к конфигурационному файлу RangerRestClient SSL плагина Hive

/etc/hbase/conf/ranger-hbase-policymgr-ssl.xml

xasecure.policymgr.clientssl.keystore

Путь к keystore-файлу, который использует Ranger

 — 

xasecure.policymgr.clientssl.keystore.credential.file

Путь к файлу с паролями для keystore-файла

/etc/impala/conf/ranger-impala.jceks

xasecure.policymgr.clientssl.truststore.credential.file

Путь к truststore-файлу с учетными данными

/etc/impala/conf/ranger-impala.jceks

xasecure.policymgr.clientssl.truststore

Путь к truststore-файлу, который использует Ranger

 — 

xasecure.policymgr.clientssl.keystore.password

Пароль для доступа к keystore-файлу

 — 

xasecure.policymgr.clientssl.truststore.password

Пароль для доступа к truststore-файлу

 — 

ldap_uri

URI сервера LDAP. Обычно начинается с ldap:// или ldaps:// в случае использования SSL. Опционально в URI можно указать порт, например: ldap://ldap_server.example.com:389

 — 

ldap_domain

Заменяет имя пользователя строкой <username>@ldap_domain, где <username> — имя пользователя, проходящего аутентификацию. Нельзя использовать вместе с ldap_bind_pattern или ldap_baseDN

 — 

ldap_bind_dn

Отличительное имя пользователя для привязки во время поиска по пользователям/группам. Требуется, только если используются фильтры пользователей/групп, а LDAP-сервер не разрешает анонимный поиск

 — 

ldap_bind_password

Пароль пользователя для привязки. Требуется, если на сервере не активирована анонимная привязка

 — 

ldap_bind_password_cmd

cat /etc/impala/conf/pass.pwd

ldap_user_search_basedn

Базовый DN для поиска по пользователям

 — 

ldap_group_search_basedn

Базовый DN для поиска по группам

 — 

ldap_baseDN

База поиска. Заменяет имя пользователя на DN следующего вида: uid=<userid>,ldap_baseDN, где <userid> — имя пользователя, проходящего аутентификацию. Нельзя использовать вместе с ldap_bind_pattern или ldap_domain

 — 

ldap_user_filter

Фильтр для простых и поисковых привязок. В случае простой привязки — список значений, разделенных запятой. Если параметр указан, то для успешной аутентификации пользователь должен входить в этот список. В случае поисковой привязки — LDAP-фильтр, использующийся для поиска в LDAP. Может содержать шаблон {0}, который будет заменен на имя пользователя

 — 

ldap_group_filter

Список групп, разделенных запятой. Если параметр указан, то для успешной аутентификации пользователь должен состоять в одной из перечисленных групп

 — 

ldap_allow_anonymous_binds

При значении true Impala разрешает LDAP-аутентификацию с пустым паролем (анонимная привязка)

false

ldap_search_bind_authentication

Позволяет переключаться между простой и поисковой привязкой для аутентификации

true

ldap_ca_certificate

Указывает местоположение сертификата в стандартном формате PEM для SSL. Данный сертификат должен храниться локально в директории, которую могут читать только impala и остальные доверенные пользователи

 — 

ldap_passwords_in_clear_ok

Позволяет веб-серверу запускаться с LDAP-аутентификацией даже при выключенном SSL. При установке значения true значение параметра auth_creds_ok_in_clear в файле impalarc также становится true. Учтите, что это потенциально небезопасный вариант работы

false

ldap_bind_pattern

Строка, в которой #UID заменяется на имя пользователя. Например, при значении user=#UID,OU=foo,CN=bar при попытке пользователя henry пройти аутентификацию его имя заменится на user=henry,OU=foo,CN=bar. Нельзя использовать вместе с ldap_baseDN или ldap_domain

 — 

allow_custom_ldap_filters_with_kerberos_auth

Позволяет использовать кастомные LDAP-фильтры для пользователей и групп даже при включенном Kerberos

true

Ranger plugin enabled

false

Custom ranger-hive-audit.xml

 — 

Custom ranger-hive-security.xml

 — 

Custom ranger-hive-policymgr-ssl.xml

 — 

hostname

Имя хоста, на котором установлен Catalog Service. Если Kerberos включен, оно также является частью принципала Kerberos. Если этот параметр не установлен, используется системное значение по умолчанию

 — 

state_store_host

Хост, на котором запущен компонент Impala Statestore

 — 

state_store_port

Порт, на котором запущен компонент Impala Statestore

24000

catalog_service_host

Хост, на котором запущен компонент Impala Catalog Service

 — 

catalog_service_port

Порт, на котором запущен компонент Impala Catalog Service

26000

enable_webserver

Включает или отключает веб-сервер демона Catalog Service. Его веб-интерфейс включает информацию о базах данных, таблицах и других объектах, управляемых Impala, в дополнение к информации об использовании ресурсов и параметрам конфигурации Catalog Service

True

webserver_require_spnego

Включает аутентификацию Kerberos для веб-консолей Hadoop HTTP для всех ролей этого сервиса с использованием протокола SPNEGO. Используйте этот параметр, только если для сервиса HDFS включен Kerberos

False

webserver_port

Порт, на котором работает веб-сервер Catalog Service

25020

log_dir

Каталог, в котором демон Catalog Service хранит свои файлы журналов

/var/log/impala/catalogd/

log_filename

Префикс имени файла журнала. Полный путь к файлу — <log_dir>/<log_filename>

catalogd

max_log_files

Количество файлов журнала, которые должны храниться для каждого уровня важности (INFO, WARNING, ERROR и FATAL) прежде чем старые файлы журнала будут удалены. Число должно быть больше 1, чтобы по крайней мере текущий файл журнала оставался открытым. Если установлено значение 0, все файлы журналов сохраняются, и ротация журналов не производится

10

minidump_path

Каталог для хранения Breakpad-дампов демона Catalog Service

/var/log/impala-minidumps

max_minidumps

Максимальное количество файлов Breakpad-дампов, хранимых демоном Catalog Service. Отрицательное значение или 0 интерпретируется как неограниченное число

9

hms_event_polling_interval_s

Если для этого параметра задано положительное число, Catalog Service получает новые уведомления из Hive Metastore с указанным интервалом в секундах. Если для hms_event_polling_interval_s установлено значение 0, автоматическое признание метаданных недействительными и обновление отключены. См. Metadata management

2

load_auth_to_local_rules

Если активен (True) и Kerberos включен для Impala, Impala использует настройку auth_to_local, заданную в конфигурации HDFS hadoop.security.auth_to_local

True

load_catalog_in_background

Если установлено значение True, метаданные загружаются в фоновом режиме, даже если эти метаданные не требуются ни для одного запроса. Если False, метаданные загружаются при первом обращении к ним

False

catalog_topic_mode

Уровень детализация метаданных, передающихся по запросу между координатором демона Impala и Impala Catalog Service. См. Metadata management

minimal

statestore_subscriber_timeout_seconds

Тайм-аут в секундах для подключения Impala Daemon и Catalog Server к Statestore

30

state_store_subscriber_port

Порт, на котором запущен StateStoreSubscriberService. StateStoreSubscriberService прослушивает этот порт на наличие обновлений от демона Statestore

23020

enable_statestored_ha

Показывает, присутствуют ли в кластере два компонента Impala Statestore, что позволяет им работать в режиме высокой доступности

false

state_store_2_host

Хост, на котором запущен второй компонент Impala Statestore (режим высокой доступности)

 — 

state_store_2_port

Порт, на котором запущен второй компонент Impala Statestore (режим высокой доступности)

24000

enable_catalogd_ha

Показывает, присутствуют ли в кластере два компонента Impala Catalog Service, что позволяет им работать в режиме высокой доступности

false

kerberos_reinit_interval

Количество минут между переустановкой тикета на сервере Kerberos

60

principal

Принципал Kerberos сервиса Impala

 — 

keytab_file

Kerberos keytab-файл сервиса Impala

 — 

ssl_server_certificate

Путь к файлу TLS/SSL с ключом сертификата сервера, используемым для TLS/SSL. Он используется, когда Impala работает как сервер TLS/SSL. Файл сертификата должен быть в формате PEM

 — 

ssl_private_key

Путь к файлу TLS/SSL с закрытым ключом, используемым для TLS/SSL. Он используется, когда Impala работает как сервер TLS/SSL. Файл сертификата должен быть в формате PEM

 — 

ssl_client_ca_certificate

Путь к сертификату в формате PEM, используемому для подтверждения подлинности серверов SSL/TLS, к которым могут подключаться демоны Impala. Поскольку демоны Impala также подключаются друг к другу, он должен включать сертификат CA, используемый для подписи всех сертификатов SSL/TLS. SSL/TLS между демонами Impala не может быть включен без этого параметра

 — 

webserver_certificate_file

Путь к файлу TLS/SSL с ключом сертификата сервера, используемым для TLS/SSL. Он необходим, когда веб-сервер демона Catalog Service работает как сервер TLS/SSL. Файл сертификата должен быть в формате PEM

 — 

webserver_private_key_file

Путь к файлу TLS/SSL с закрытым ключом, используемым для TLS/SSL. Он необходим, когда веб-сервер демона Catalog Service работает как сервер TLS/SSL. Файл сертификата должен быть в формате PEM

 — 

ssl_minimum_version

Минимальная версия TLS

TLSv1.2

Custom catalogstore.conf

 — 

Enable custom ulimits

Включение этой опции позволяет указать ограничения на использование ресурсов для процесса (ulimits). Если значения не указаны, будут использованы системные настройки по умолчанию. Настройки ulimit описаны в таблице ниже

LimitCPU

Ограничение в секундах на количество процессорного времени, которое может потреблять процесс

cpu time ( -t)

LimitFSIZE

Максимальный размер файлов, которые может создать процесс, в блоках по 512 байт

file size ( -f)

LimitDATA

Максимальный размер сегмента данных процесса, в килобайтах

data seg size ( -d)

LimitSTACK

Максимальный размер стека, выделенный процессу, в килобайтах

stack size ( -s)

LimitCORE

Максимальный размер файла дампа (core dump) в байтах, который процесс может сохранить, в блоках по 512 байт

core file size ( -c)

LimitRSS

Максимальное количество памяти RAM (resident set size), которое может быть выделено процессу, в килобайтах

max memory size ( -m)

LimitNOFILE

Максимальное количество дескрипторов открытых файлов, разрешенное для процесса

open files ( -n)

LimitAS

Максимальный размер виртуальной памяти (адресного пространства) процесса, в килобайтах

virtual memory ( -v)

LimitNPROC

Максимальное количество процессов

max user processes ( -u)

LimitMEMLOCK

Максимальный размер памяти, который может быть заблокирован для процесса, в килобайтах. Блокировка памяти гарантирует, что память всегда находится в оперативной памяти (RAM) и файл подкачки не используется

max locked memory ( -l)

LimitLOCKS

Максимальное количество файлов, заблокированных процессом

file locks ( -x)

LimitSIGPENDING

Максимальное количество сигналов, ожидающих доставки в вызывающий поток

pending signals ( -i)

LimitMSGQUEUE

Максимальное количество байтов в очередях сообщений POSIX. Очереди сообщений POSIX позволяют процессам обмениваться данными в форме сообщений

POSIX message queues ( -q)

LimitNICE

Максимальный уровень приоритета NICE, который может быть назначен процессу

scheduling priority ( -e)

LimitRTPRIO

Максимальный приоритет планирования в реальном времени

real-time priority ( -r)

LimitRTTIME

Максимальный размер буфера конвейера (pipe), в блоках по 512 байт

pipe size ( -p)

impala-shell-env.sh

Содержимое файла impala-shell-env.sh, устанавливающего необходимые переменные среды

impalarc

Содержимое файла impalarc, хранящего LDAP-настройки для impala-shell

hostname

Имя хоста, которое используется для Impala Daemon. Если Kerberos включен, оно также является частью принципала Kerberos. Если этот параметр не установлен, используется системное значение по умолчанию

 — 

beeswax_port

Порт, на котором демоны Impala обслуживают клиентские запросы Beeswax

21000

fe_port

Порт внешнего интерфейса (frontend) демона Impala

21000

be_port

Только для внутреннего использования. Демоны Impala используют этот порт для связи друг с другом на основе Thrift

22000

krpc_port

Только для внутреннего использования. Демоны Impala используют этот порт для связи друг с другом на основе KRPC

27000

hs2_port

Порт, на котором демоны Impala обслуживают клиентские запросы HiveServer2

21050

hs2_http_port

Порт, который используют клиентские приложения для передачи команд и получения результатов по HTTP по протоколу HiveServer2

28000

enable_webserver

Включает или отключает веб-сервер демона Impala. Его веб-интерфейс содержит информацию о параметрах конфигурации, запущенных и завершенных запросах и связанном с ними использовании ресурсов. В основном используется для диагностики проблем с запросами, которые можно отследить до определенной ноды

True

webserver_require_spnego

Включает аутентификацию Kerberos для веб-консолей Hadoop HTTP для всех ролей этого сервиса с использованием протокола SPNEGO. Используйте этот параметр, только если для сервиса HDFS включен Kerberos

False

webserver_port

Порт, на котором работает веб-сервер демона Impala

25000

catalog_service_host

Хост, на котором запущен компонент Impala Catalog Service

 — 

catalog_service_port

Порт, на котором запущен компонент Impala Catalog Service

26000

state_store_host

Хост, на котором запущен компонент Impala Statestore

 — 

state_store_port

Порт, на котором запущен компонент Impala Statestore

24000

state_store_subscriber_port

Порт, на котором запущен StateStoreSubscriberService. StateStoreSubscriberService прослушивает этот порт на наличие обновлений от демона Statestore

23030

scratch_dirs

Каталог, в который демоны Impala записывают данные для освобождения памяти во время больших операций сортировки, объединения, агрегирования и т.д. Файлы удаляются после завершения операции. Потенциально это могут быть большие объемы данных

/srv/impala/

log_dir

Каталог, в котором демоны Impala хранят свои файлы журналов

/var/log/impala/impalad/

profile_log_dir

Каталог, в который записываются файлы журналов профиля

/var/log/impala/impalad/profiles

log_filename

Префикс имени файла журнала. Полный путь к файлу — <log_dir>/<log_filename>

impalad

max_log_files

Количество файлов журнала, которые должны храниться для каждого уровня важности (INFO, WARNING, ERROR и FATAL) прежде чем старые файлы журнала будут удалены. Число должно быть больше 1, чтобы по крайней мере текущий файл журнала оставался открытым. Если установлено значение 0, все файлы журналов сохраняются, и ротация журналов не производится

10

audit_event_log_dir

Каталог, в который записываются файлы журнала событий аудита демона Impala, если включено свойство Impala Audit Event Generation

/var/log/impala/impalad/audit

minidump_path

Каталог для хранения Breakpad-дампов демона Impala

/var/log/impala-minidumps

lineage_event_log_dir

Каталог, в который записываются лог-файлы lineage, если включено свойство Impala Lineage Generation

/var/log/impala/impalad/lineage

local_library_dir

Локальный каталог, в который Демон Impala копирует библиотеки пользовательских функций (user-defined function, UDF) из HDFS

/usr/lib/impala/udfs

max_lineage_log_file_size

Максимальный размер (в записях) лог-файла lineage демона Impala. При превышении размера создается новый файл

5000

max_audit_event_log_file_size

Максимальный размер (в запросах) файла журнала событий аудита демона Impala. При превышении размера создается новый файл

5000

fe_service_threads

Максимально допустимое количество одновременных клиентских подключений. Параметр определяет, сколько запросов может выполняться одновременно. Когда большее число клиентов пытается подключиться к Impala, более поздние клиенты должны ждать, пока предыдущие клиенты отключатся. Установка слишком высокого значения fe_service_threads может негативно повлиять на задержку выполнения запросов

64

mem_limit

Ограничение памяти (в байтах) для демона Impala, обеспечиваемое самим демоном. Это ограничение не включает память, потребляемую встроенной JVM демона. Impala использует этот объем памяти для обработки запросов, кешированных данных, сетевых буферов, фоновых операций и т.д. Если предел превышен, запросы будут уничтожаться до тех пор, пока используемая память не станет меньше предела

1473249280

idle_query_timeout

Время в секундах, по истечении которого отменяется бездействующий запрос (обработка не выполняется, и от клиента не поступают обновления). Если установлено значение 0, бездействующие запросы никогда не отменяются

0

idle_session_timeout

Время в секундах, по истечении которого Impala закрывает бездействующую сессию и отменяет все запущенные запросы. Если установлено значение 0, бездействующие сессии никогда не закрываются

0

max_result_cache_size

Максимальное количество результатов запроса, которое клиент может запросить для кеширования каждого запроса для поддержки перезапуска выборки. Этот параметр защищает от неоправданно больших кешей результатов. Запросы, превышающие указанный максимум, отклоняются

100000

max_cached_file_handles

Максимальное количество дескрипторов кешированных файлов HDFS. Кеширование файловых дескрипторов HDFS уменьшает количество открываемых новых файловых дескрипторов и, таким образом, снижает нагрузку на HDFS NameNode. Каждый кешированный дескриптор файла потребляет небольшой объем памяти. Если установлено значение 0, кеширование дескрипторов файлов отключено

20000

unused_file_handle_timeout_sec

Максимальное время в секундах, в течение которого неиспользуемый дескриптор файла HDFS остается в кеше дескрипторов файлов HDFS. Когда базовый файл для кешированного дескриптора файла удаляется, дисковое пространство не может быть освобождено до тех пор, пока кешированный дескриптор файла не будет удален из кеша. Этот тайм-аут позволяет освободить место на диске, занятое удаленными файлами, за предсказуемый период времени. Если установлено значение 0, неиспользуемые дескрипторы кешированных файлов HDFS не удаляются

21600

statestore_subscriber_timeout_seconds

Тайм-аут в секундах для подключения Impala Daemon и Catalog Server к Statestore

30

default_query_options

Список пар ключ/значение, представляющих собой дополнительные параметры запроса для передачи в командную строку демона Impala, разделенные запятыми

default_file_format=parquet,default_transactional_type=none

load_auth_to_local_rules

Если активен (True) и Kerberos включен для Impala, Impala использует настройку auth_to_local, заданную в конфигурации HDFS hadoop.security.auth_to_local

True

catalog_topic_mode

Уровень детализация метаданных, передающихся по запросу между координатором демона Impala и Impala Catalog Service. См. Metadata management

minimal

use_local_catalog

Позволяет координаторам кешировать метаданные, полученные от Impala Catalog Service. Если для этого параметра установлено значение True, координаторы получают метаданные по мере необходимости от catalogd и кешируют их локально. Кешированные метаданные автоматически удаляются при нехватке памяти или по истечении срока актуальности. См. Metadata management

True

abort_on_failed_audit_event

Определяет, следует ли выключать Impala, если возникает проблема с записью события аудита

False

max_minidumps

Максимальное количество файлов Breakpad-дампов, хранимых демоном Impala. Отрицательное значение или 0 интерпретируется как неограниченное число

9

authorized_proxy_user_config

Указывает набор авторизованных прокси-пользователей (пользователей, которые могут олицетворять других пользователей во время авторизации) и пользователей, которых им разрешено олицетворять. Пример синтаксиса опции: authenticated_user1=delegated_user1,delegated_user2;authenticated_user2=*. См. Configuring Impala delegation for clients. Список может содержать короткие имена пользователей или символ * для обозначения всех пользователей

knox=*;zeppelin=*

queue_wait_timeout_ms

Максимальное время (в миллисекундах), в течение которого запрос ожидает принятия до истечения времени ожидания. Значение должно быть положительным целым числом

60000

disk_spill_encryption

Указывает, следует ли шифровать и проверять целостность всех данных, перенесенных на диск как часть запроса

False

abort_on_config_error

Определяет, следует ли прервать запуск Impala, если параметры конфигурации заданы некорректно, или Impala запущена на неподдерживаемом оборудовании

True

llama_site_path

Путь к конфигурационному файлу llama-site.xml

/etc/impala/conf/llama-site.xml

fair_scheduler_allocation_path

Путь к конфигурационному файлу fair-scheduler.xml

/etc/impala/conf/fair-scheduler.xml

enable_statestored_ha

Показывает, присутствуют ли в кластере два компонента Impala Statestore, что позволяет им работать в режиме высокой доступности

false

state_store_2_host

Хост, на котором запущен второй компонент Impala Statestore (режим высокой доступности)

 — 

state_store_2_port

Порт, на котором запущен второй компонент Impala Statestore (режим высокой доступности)

24000

kerberos_reinit_interval

Количество минут между переустановкой тикета на сервере Kerberos

60

principal

Принципал Kerberos сервиса Impala

 — 

keytab_file

Kerberos keytab-файл сервиса Impala

 — 

ssl_server_certificate

Путь к файлу TLS/SSL с ключом сертификата сервера, используемым для TLS/SSL. Он используется, когда Impala работает как сервер TLS/SSL. Файл сертификата должен быть в формате PEM

 — 

ssl_private_key

Путь к файлу TLS/SSL с закрытым ключом, используемым для TLS/SSL. Он используется, когда Impala работает как сервер TLS/SSL. Файл сертификата должен быть в формате PEM

 — 

ssl_client_ca_certificate

Путь к сертификату в формате PEM, используемому для подтверждения подлинности серверов SSL/TLS, к которым могут подключаться демоны Impala. Поскольку демоны Impala также подключаются друг к другу, он должен включать сертификат CA, используемый для подписи всех сертификатов SSL/TLS. SSL/TLS между демонами Impala не может быть включен без этого параметра

 — 

webserver_certificate_file

Путь к файлу TLS/SSL с ключом сертификата сервера, используемым для TLS/SSL. Он необходим, когда веб-сервер демона Impala работает как сервер TLS/SSL. Файл сертификата должен быть в формате PEM

 — 

webserver_private_key_file

Путь к файлу TLS/SSL с закрытым ключом, используемым для TLS/SSL. Он необходим, когда веб-сервер демона Impala работает как сервер TLS/SSL. Файл сертификата должен быть в формате PEM

 — 

ssl_minimum_version

Минимальная версия TLS

TLSv1.2

Custom impalastore.conf

 — 

log4j.properties

Настройки утилиты Apache Log4j

llama-site.xml

Настройки ресурсных пулов

fair_scheduler.xml

Настройки ресурсных пулов

Enable custom ulimits

Включение этой опции позволяет указать ограничения на использование ресурсов для процесса (ulimits). Если значения не указаны, будут использованы системные настройки по умолчанию. Настройки ulimit описаны в таблице ниже

LimitCPU

Ограничение в секундах на количество процессорного времени, которое может потреблять процесс

cpu time ( -t)

LimitFSIZE

Максимальный размер файлов, которые может создать процесс, в блоках по 512 байт

file size ( -f)

LimitDATA

Максимальный размер сегмента данных процесса, в килобайтах

data seg size ( -d)

LimitSTACK

Максимальный размер стека, выделенный процессу, в килобайтах

stack size ( -s)

LimitCORE

Максимальный размер файла дампа (core dump) в байтах, который процесс может сохранить, в блоках по 512 байт

core file size ( -c)

LimitRSS

Максимальное количество памяти RAM (resident set size), которое может быть выделено процессу, в килобайтах

max memory size ( -m)

LimitNOFILE

Максимальное количество дескрипторов открытых файлов, разрешенное для процесса

open files ( -n)

LimitAS

Максимальный размер виртуальной памяти (адресного пространства) процесса, в килобайтах

virtual memory ( -v)

LimitNPROC

Максимальное количество процессов

max user processes ( -u)

LimitMEMLOCK

Максимальный размер памяти, который может быть заблокирован для процесса, в килобайтах. Блокировка памяти гарантирует, что память всегда находится в оперативной памяти (RAM) и файл подкачки не используется

max locked memory ( -l)

LimitLOCKS

Максимальное количество файлов, заблокированных процессом

file locks ( -x)

LimitSIGPENDING

Максимальное количество сигналов, ожидающих доставки в вызывающий поток

pending signals ( -i)

LimitMSGQUEUE

Максимальное количество байтов в очередях сообщений POSIX. Очереди сообщений POSIX позволяют процессам обмениваться данными в форме сообщений

POSIX message queues ( -q)

LimitNICE

Максимальный уровень приоритета NICE, который может быть назначен процессу

scheduling priority ( -e)

LimitRTPRIO

Максимальный приоритет планирования в реальном времени

real-time priority ( -r)

LimitRTTIME

Максимальный размер буфера конвейера (pipe), в блоках по 512 байт

pipe size ( -p)

hostname

Имя хоста, на котором установлен Statestore. Если Kerberos включен, оно также является частью принципала Kerberos. Если этот параметр не установлен, используется системное значение по умолчанию

 — 

state_store_host

Хост, на котором запущен компонент Impala Statestore

 — 

state_store_port

Порт, на котором запущен компонент Impala Statestore

24000

catalog_service_host

Хост, на котором запущен компонент Impala Catalog Service

 — 

catalog_service_port

Порт, на котором запущен компонент Impala Catalog Service

26000

enable_webserver

Включает или отключает веб-сервер демона Statestore. Его веб-интерфейс содержит информацию об использовании памяти, параметрах конфигурации и текущих проверках работоспособности, выполняемых Statestore

True

webserver_require_spnego

Включает аутентификацию Kerberos для веб-консолей Hadoop HTTP для всех ролей этого сервиса с использованием протокола SPNEGO. Используйте этот параметр, только если для сервиса HDFS включен Kerberos

False

webserver_port

Порт, на котором работает веб-сервер Statestore

25010

log_dir

Каталог, в котором демон Statestore хранит свои файлы журналов

/var/log/impala/statestored/

log_filename

Префикс имени файла журнала. Полный путь к файлу — <log_dir>/<log_filename>

statestored

max_log_files

Количество файлов журнала, которые должны храниться для каждого уровня важности (INFO, WARNING, ERROR и FATAL) прежде чем старые файлы журнала будут удалены. Число должно быть больше 1, чтобы по крайней мере текущий файл журнала оставался открытым. Если установлено значение 0, все файлы журналов сохраняются, и ротация журналов не производится

10

minidump_path

Каталог для хранения Breakpad-дампов демона Statestore

/var/log/impala-minidumps

max_minidumps

Максимальное количество файлов Breakpad-дампов, хранимых демоном Statestore. Отрицательное значение или 0 интерпретируется как неограниченное число

9

state_store_num_server_worker_threads

Количество рабочих потоков для диспетчера потоков сервера Statestore Thrift

4

state_store_pending_task_count_max

Максимальное количество задач, которые могут быть отложены диспетчером потоков сервера Statestore Thrift. Значение 0 разрешает бесконечное количество отложенных задач

0

enable_statestored_ha

Показывает, присутствуют ли в кластере два компонента Impala Statestore, что позволяет им работать в режиме высокой доступности

false

state_store_ha_port

RPC-порт экземпляра Statestore в режиме высокой доступности

24020

kerberos_reinit_interval

Количество минут между переустановкой тикета на сервере Kerberos

60

principal

Принципал Kerberos сервиса Impala

 — 

keytab_file

Kerberos keytab-файл сервиса Impala

 — 

ssl_server_certificate

Путь к файлу TLS/SSL с ключом сертификата сервера, используемым для TLS/SSL. Он используется, когда Impala работает как сервер TLS/SSL. Файл сертификата должен быть в формате PEM

 — 

ssl_private_key

Путь к файлу TLS/SSL с закрытым ключом, используемым для TLS/SSL. Он используется, когда Impala работает как сервер TLS/SSL. Файл сертификата должен быть в формате PEM

 — 

ssl_client_ca_certificate

Путь к сертификату в формате PEM, используемому для подтверждения подлинности серверов SSL/TLS, к которым могут подключаться демоны Impala. Поскольку демоны Impala также подключаются друг к другу, он должен включать сертификат CA, используемый для подписи всех сертификатов SSL/TLS. SSL/TLS между демонами Impala не может быть включен без этого параметра

 — 

webserver_certificate_file

Путь к файлу TLS/SSL с ключом сертификата сервера, используемым для TLS/SSL. Он необходим, когда веб-сервер демона Statestore работает как сервер TLS/SSL. Файл сертификата должен быть в формате PEM

 — 

webserver_private_key_file

Путь к файлу TLS/SSL с закрытым ключом, используемым для TLS/SSL. Он необходим, когда веб-сервер демона Statestore работает как сервер TLS/SSL. Файл сертификата должен быть в формате PEM

 — 

ssl_minimum_version

Минимальная версия TLS

TLSv1.2

Custom statestore.conf

 — 

Enable custom ulimits

Включение этой опции позволяет указать ограничения на использование ресурсов для процесса (ulimits). Если значения не указаны, будут использованы системные настройки по умолчанию. Настройки ulimit описаны в таблице ниже

LimitCPU

Ограничение в секундах на количество процессорного времени, которое может потреблять процесс

cpu time ( -t)

LimitFSIZE

Максимальный размер файлов, которые может создать процесс, в блоках по 512 байт

file size ( -f)

LimitDATA

Максимальный размер сегмента данных процесса, в килобайтах

data seg size ( -d)

LimitSTACK

Максимальный размер стека, выделенный процессу, в килобайтах

stack size ( -s)

LimitCORE

Максимальный размер файла дампа (core dump) в байтах, который процесс может сохранить, в блоках по 512 байт

core file size ( -c)

LimitRSS

Максимальное количество памяти RAM (resident set size), которое может быть выделено процессу, в килобайтах

max memory size ( -m)

LimitNOFILE

Максимальное количество дескрипторов открытых файлов, разрешенное для процесса

open files ( -n)

LimitAS

Максимальный размер виртуальной памяти (адресного пространства) процесса, в килобайтах

virtual memory ( -v)

LimitNPROC

Максимальное количество процессов

max user processes ( -u)

LimitMEMLOCK

Максимальный размер памяти, который может быть заблокирован для процесса, в килобайтах. Блокировка памяти гарантирует, что память всегда находится в оперативной памяти (RAM) и файл подкачки не используется

max locked memory ( -l)

LimitLOCKS

Максимальное количество файлов, заблокированных процессом

file locks ( -x)

LimitSIGPENDING

Максимальное количество сигналов, ожидающих доставки в вызывающий поток

pending signals ( -i)

LimitMSGQUEUE

Максимальное количество байтов в очередях сообщений POSIX. Очереди сообщений POSIX позволяют процессам обмениваться данными в форме сообщений

POSIX message queues ( -q)

LimitNICE

Максимальный уровень приоритета NICE, который может быть назначен процессу

scheduling priority ( -e)

LimitRTPRIO

Максимальный приоритет планирования в реальном времени

real-time priority ( -r)

LimitRTTIME

Максимальный размер буфера конвейера (pipe), в блоках по 512 байт

pipe size ( -p)