Опции ADQM Spark 3 Connector
Необходимые параметры подключения к базе данных ADQM, а также параметры чтения/записи задаются с помощью пар ключ/значение.
Для ADQM Spark 3 Connector доступны следующие опции.
| Ключ | Описание | Тип операции | Обязательность | Значение по умолчанию |
|---|---|---|---|---|
spark.adqm.url |
Строка подключения к базе данных с помощью драйвера, использующего протокол TCP |
Чтение/запись |
Да |
— |
spark.adqm.dbschema |
Имя схемы базы данных, которой принадлежит таблица |
Чтение/запись |
Да |
default |
spark.adqm.dbtable |
Имя таблицы базы данных |
Чтение/запись |
Да |
— |
spark.adqm.user |
Пользователь/роль ADQM |
Чтение/запись |
Да |
— |
spark.adqm.password |
Пароль пользователя в ADQM |
Чтение/запись |
Нет |
— |
spark.adqm.cluster.name |
Имя кластера ADQM |
Чтение/запись |
Нет |
— |
spark.adqm.jdbc.pool.maxsize |
Максимальное количество подключений в пуле подключений |
Чтение/запись |
Нет |
4 |
spark.adqm.jdbc.pool.timeout |
Время в миллисекундах, по истечении которого неактивное соединение считается бездействующим |
Чтение/запись |
Нет |
10000 |
spark.adqm.jdbc.pool.minidle |
Минимальное количество бездействующих соединений, поддерживаемое в пуле соединений |
Чтение/запись |
Нет |
0 |
spark.adqm.partition.column |
Имя столбца таблицы, используемого в Spark 3 для разделения по партициям. Столбец должен быть типа integer или date/time |
Чтение |
Нет |
— |
spark.adqm.partition.count |
Количество партиций в Spark 3. Moжет быть указанo только совместно с |
Чтение |
Нет |
— |
spark.adqm.insert.batchsize |
Размер батча (batch) при вставке в целевую таблицу |
Запись |
Нет |
10000 |
spark.adqm.insert_distributed_sync |
Режим вставки в ADQM: |
Запись |
Нет |
0 |
spark.adqm.table.truncate |
Используется при записи в режиме |
Запись |
Нет |
false |
Для режима overwrite с установленным в true значением опции spark.adqm.table.truncate и для режима errorIfExists есть дополнительные опции, описанные в таблице ниже. В иных режимах данные опции игнорируются.
| Ключ | Описание | Обязательность |
|---|---|---|
spark.adqm.create.table.engine |
Движок целевой таблицы |
Да |
spark.adqm.create.table.storage_policy |
Политика хранения целевой таблицы |
Нет |
spark.adqm.create.table.distributed.sharding_key |
Ключ шардирования для целевой таблицы Distributed |
Нет |
spark.adqm.create.table.merge_tree.sorting_key |
Ключ сортировки для целевой таблицы семейства MergeTree. При указанной опции |
Нет |
spark.adqm.create.table.merge_tree.sampling_key |
Ключ сэмплирования для целевой таблицы семейства MergeTree |
Нет |
spark.adqm.create.table.merge_tree.primary_key |
Первичный ключ для целевой таблицы семейства MergeTree |
Нет |
spark.adqm.create.table.merge_tree.partition_key |
Ключ партиционирования для целевой таблицы семейства MergeTree |
Нет |
spark.adqm.create.table.summing_merge_tree.columns |
Столбцы целевой таблицы (Replicated)SummingMergeTree |
Нет |
spark.adqm.create.table.replacing_merge_tree.version |
Столбец с версией записи данных для целевой таблицы (Replicated)ReplacingMergeTree |
Нет |
spark.adqm.create.table.collapsing_merge_tree.sign |
Признак таблицы (Replicated)CollapsingMergeTree/(Replicated)VersionedCollapsingMergeTree |
Нет |
spark.adqm.create.table.collapsing_merge_tree.version |
Версия целевой таблицы (Replicated)CollapsingMergeTree/(Replicated)VersionedCollapsingMergeTree |
Нет |