Конфигурационные параметры SSM

Encryption enable

Установите значение true чтобы включить шифрование учетных данных

false

Credential provider path

Путь к хранилищу ключей, используемому для шифрования учетных данных

jceks://file/etc/ssm/conf/ssm.jceks

Custom jceks

Установите значение true для использования пользовательского JCEKS-хранилища по заданному пути. Установите значение false, чтобы использовать автоматически сгенерированное хранилище ключей JCEKS

false

smart.hadoop.conf.path

Путь к директории конфигурации Hadoop

/etc/hadoop/conf

smart.conf.dir

Путь к директории конфигурации SSM

/etc/ssm/conf

smart.server.rpc.address

RPC-адрес сервера SSM

0.0.0.0:7042

smart.file.access.count.aggregator.failover

Стратегия отказоустойчивости для агрегатора событий доступа к файлам. Возможные значения: FAIL — бросить исключение, отказоустойчивости нет. SAVE_FAILED_WITH_RETRY — сохранить все события доступа к файлам, вызвавшие исключение

SAVE_FAILED_WITH_RETRY

smart.server.http.address

HTTP-адрес сервера SSM (веб-интерфейс)

0.0.0.0:7045

smart.agent.master.address

Адрес активного SSM-сервера

<hostname>

smart.agent.address

Определяет адрес компонента SSM Agent на каждом хосте

0.0.0.0

smart.agent.port

Номер порта, используемый агентами SSM для общения с SSM-сервером

7048

smart.agent.master.port

Номер порта, используемый SSM-сервером для общения с агентами SSM

7051

smart.rest.server.port

Порт REST-сервера SSM

7045

smart.rest.server.security.enabled

Параметр включает или отключает безопасность REST-сервера SSM

false

smart.rest.server.auth.spnego.enabled

Параметр включает или отключает аутентификацию SPNEGO для REST-сервера SSM

false

smart.rest.server.auth.predefined.enabled

Параметр включает или отключает базовую аутентификацию для пользователей из списка опции smart.rest.server.auth.predefined.users

false

smart.rest.server.auth.predefined.users

Список пользователей с их учетными данными, которые имеют доступ к REST-серверу SSM

 — 

smart.ignore.dirs

Список HDFS-директорий, разделенных запятыми, которые необходимо игнорировать. SSM игнорирует все файлы в указанных директориях

 — 

smart.cover.dirs

Список HDFS-директорий, разделенных запятыми, в которых SSM будет сканировать файлы. По умолчанию охватываются все файлы HDFS

 — 

smart.work.dir

Директория HDFS, используемая SSM в качестве рабочей директории для хранения временных файлов. В этой директории SSM будет игнорировать события inotify для файлов. Можно указать только одну директорию

/system/ssm

smart.client.concurrent.report.enabled

Включает/отключает параллельные отчеты для Smart Client. Если опция включена, в целях оптимизации Smart Client пытается параллельно подключиться к нескольким настроенным Smart Server для определения активного сервера. Только активный Smart Server ответит на запрос для установления соединения. Если отчет был успешно доставлен на активный Smart Server, попытки подключения к другим серверам отменяются

 — 

smart.server.rpc.handler.count

Количество RPC-обработчиков на сервере

80

smart.namespace.fetcher.batch

Размер пакета для namespace-сборщика. SSM получает информацию о namespace от NameNode во время запуска. Большие размеры namespace могут привести к увеличению времени запуска. Увеличение размера пакета может ускорить работу сборщика и уменьшить время запуска

500

smart.namespace.fetcher.producers.num

Количество производителей (producers) в namespace-сборщике

3

smart.namespace.fetcher.consumers.num

Количество потребителей (consumers) в namespace-сборщике

6

smart.rule.executors

Максимальное количество правил, которые могут выполняться параллельно

5

smart.cmdlet.executors

Максимальное количество команд, которые могут выполняться параллельно

10

smart.dispatch.cmdlets.extra.num

Количество дополнительных команд, отправляемых Smart Server

10

smart.cmdlet.dispatchers

Максимальное количество диспетчеров команд, работающих параллельно

3

smart.cmdlet.mover.max.concurrent.blocks.per.srv.inst

Максимальное количество команд file mover для одного сервиса SSM, которые могут выполняться параллельно. Значение 0 снимает ограничение

0

smart.action.move.throttle.mb

Предельная пропускная способность (в МБ) для действия move overall

0

smart.action.copy.throttle.mb

Предельная пропускная способность (в МБ) для действия copy overall

0

smart.action.ec.throttle.mb

Предельная пропускная способность (в МБ) для действия EC overall

0

smart.action.local.execution.disabled

Определяет, может ли активный Smart Server также выполнять функции агента. Если установлено значение true, активный сервер SSM не сможет выполнять действия агента. Этот параметр не влияет на поведение резервного Smart Server

false

smart.cmdlet.max.num.pending

Максимальное количество ожидающих команд в SSM Server

20000

smart.cmdlet.hist.max.num.records

Максимальное количество исторических записей команд, хранящихся на сервере SSM. При превышении этого значения SSM удаляет самые старые команды

100000

smart.cmdlet.hist.max.record.lifetime

Максимальное время жизни исторических записей команд, хранящихся на сервере SSM. SSM-сервер удаляет записи команд по истечении указанного интервала. Допустимые единицы времени: day, hour, min, sec. Минимальная гранулярность обновления составляет 5sec

30day

smart.cmdlet.cache.batch

Максимальный размер для пакетной вставки команд

600

smart.copy.scheduler.base.sync.batch

Максимальный размер пакета базовой синхронизации для Copy Scheduler

500

smart.file.diff.max.num.records

Максимальное количество записей файловых изменений с состоянием useless

10000

smart.status.report.period

Период между статус-отчетами действий в миллисекундах

10

smart.status.report.period.multiplier

Период отчета, умноженный на данное значение, определяет наибольший интервал отчета

50

smart.status.report.ratio

Если соотношение завершенных действий равно или превышает это значение, будет сгенерирован статус-отчет

0.2

smart.top.hot.files.num

Топ "горячих" файлов, отображаемых в веб-интерфейсе

200

smart.cmdlet.dispatcher.log.disp.result

Определяет, нужно ли регистрировать результат диспетчеризации для каждой команды

false

smart.cmdlet.dispatcher.log.disp.metrics.interval

Интервал времени в миллисекундах для регистрации статистических показателей диспетчера команд. Если в течение этого интервала не было отправлено ни одной команды, вывод для этого интервала отсутствует. Значение 0 отключает логирование

5000

smart.compression.codec

Устанавливает кодек сжатия по умолчанию (Zlib, Lz4, Bzip2, snappy). Также кодеки можно указать в качестве аргументов действия. Указание кодека в аргументе действия имеет более высокий приоритет, чем данный параметр

Zlib

smart.compression.max.split

Максимальное количество фрагментов, разделяемых для сжатия

1000

smart.compact.batch.size

Максимальное количество маленьких файлов (small files), которые будут скомпонованы при выполнении действия compact

200

smart.compact.container.file.threshold.mb

Максимальный размер файла контейнера в МБ при выполнении действия compact

1024

smart.access.count.day.tables.num

Максимальное количество таблиц, которые могут быть созданы в базе данных Metastore для хранения количества обращений к файлам в день

30

smart.access.count.hour.tables.num

Максимальное количество таблиц, которые могут быть созданы в базе данных Metastore для хранения количества обращений к файлам в час

48

smart.access.count.minute.tables.num

Максимальное количество таблиц, которые могут быть созданы в базе данных Metastore для хранения количества обращений к файлам в минуту

120

smart.access.count.second.tables.num

Максимальное количество таблиц, которые могут быть созданы в базе данных Metastore для хранения количества обращений к файлам в секунду

30

smart.access.event.fetch.interval.ms

Интервал в миллисекундах между получением данных о доступах к файлам

1000

smart.cached.file.fetch.interval.ms

Интервал в миллисекундах между получением кешированных файлов из HDFS

5000

smart.namespace.fetch.interval.ms

Интервал в миллисекундах между получением данных о пространствах имен из HDFS

1

smart.mover.scheduler.storage.report.fetch.interval.ms

Интервал в миллисекундах между получением отчетов о хранении из HDFS DataNodes в планировщике перемещений (mover scheduler)

120000

smart.metastore.small-file.insert.batch.size

Максимальный размер пакета вставки Metastore с информацией о маленьких файлах

200

smart.agent.master.ask.timeout.ms

Максимальное время в миллисекундах для ожидания ответа компонентом Smart Agent от Smart Server при отправке действия

5000

smart.ignore.path.templates

Список regex-шаблонов путей HDFS, которые SSM должен игнорировать

 — 

smart.internal.path.templates

Список regex-шаблонов внутренних файлов, которые SSM должен игнорировать

.*/\..*,.*/__.*,.*_COPYING_.*

smart.security.enable

Включает Kerberos-аутентификацию для SSM

false

smart.server.keytab.file

Путь к keytab-файлу сервера SSM

 — 

smart.server.kerberos.principal

Kerberos-принципал сервера SSM

 — 

smart.agent.keytab.file

Путь к keytab-файлу агента SSM

 — 

smart.agent.kerberos.principal

Kerberos-принципал агента SSM

 — 

smart.rest.server.auth.spnego.principal

Kerberos-принципал для SSM REST Server

 — 

smart.rest.server.auth.spnego.keytab

Keytab REST-сервера SSM

 — 

smart.proxy.user.strategy

DISABLED

smart.proxy.users.cache.ttl

2m

smart.proxy.users.cache.size

Максимальный размер кеша прокси-пользователей

20

LD_LIBRARY_PATH

Путь к дополнительным нативным библиотекам для SSM

/usr/lib/hadoop/lib/native

HADOOP_HOME

Путь к домашней директории Hadoop

/usr/lib/hadoop

Enable SmartFileSystem for Hadoop

Если эта опция включена, при расчете AccessCount для файлов учитываются запросы от разных клиентов (Spark, HDFS, Hive и так далее). В противном случае значение AccessCount увеличивается только при обращении к файлу из SSM

false

log4j.properties

Содержимое конфигурационного файла log4j.properties

 — 

Custom smart-site.xml

 — 

Custom smart-env.sh

 — 

db_url

URL к базе данных Metastore

jdbc:postgresql://{{ groups['adpg.adpg'][0] | d(omit) }}:5432/ssm

db_user

Имя пользователя для подключения к базе данных

ssm

db_password

Пароль пользователя для подключения к базе данных

 — 

initialSize

Начальное количество соединений, создаваемых при старте пула

10

minIdle

Минимальное количество установленных соединений, которое должно постоянно храниться в пуле. Пул соединений может уменьшиться ниже этого значения, если запросы валидации не проходят проверку

4

maxActive

Максимальное количество активных соединений, которые могут быть выделены из этого пула одновременно

50

maxWait

Максимальное время в миллисекундах, которое пул будет ожидать (при отсутствии доступных соединений), пока соединение не будет возвращено, прежде чем бросить исключение

60000

timeBetweenEvictionRunsMillis

Время в миллисекундах для ожидания между запусками потоков idle connection validation/cleaner. Это значение не должно быть меньше 1 секунды. Оно определяет, как часто следует проверять бездействующие и заброшенные (abandoned) соединения

90000

minEvictableIdleTimeMillis

Минимальное время, в течение которого объект соединения может бездействовать в пуле, прежде чем его можно будет удалить

300000

validationQuery

SQL-запрос, используемый для проверки соединений из пула перед возвратом их вызывающей стороне

SELECT 1

testWhileIdle

Определяет, проверять ли объекты с помощью idle object evictor (если таковой имеется)

true

testOnBorrow

Определяет, проверяются ли объекты перед заимствованием из пула

false

testOnReturn

Определяет, проверяются ли объекты перед возвращением в пул

false

poolPreparedStatements

Активирует пуллинг для подготовленных выражений (prepared statements)

true

maxPoolPreparedStatementPerConnectionSize

Максимальное количество подготовленных выражений, которые можно объединить в пул для одного соединения

30

removeAbandoned

Удаляет брошенные соединения, если они превысили removeAbandonedTimeout

true

removeAbandonedTimeout

Тайм-аут в секундах, после которого заброшенное (используемое) соединение может быть удалено

180

logAbandoned

Флаг для логирования стектрейса кода приложения, которое забросило соединение. Логирование брошенных соединений накладывает дополнительные расходы для каждого заимствованного соединения

true

filters

Устанавливает фильтры, применяемые к источнику данных

stat