Обзор ADQM Spark 3 Connector

По shard_id. Данные из таблиц ADQM считываются и распределяются по партициям Spark 3 в соответствии с номером шарда. Количество партиций Spark 3 соответствует числу активных шардов ADQM. Этот режим партиционирования не требует дополнительных параметров и используется по умолчанию.

По указанному столбцу и указанному количеству партиций. Данные разбиваются по партициям Spark 3 согласно диапазонам значений указанного столбца на указанное число партиций. Количество партиций Spark 3 соответствует количеству диапазонов. Необходимо указать параметры spark.adqm.partition.column и spark.adqm.partition.count (см. Опции ADQM Spark 3 Connector). Данный режим имеет ограничения: в качестве столбца могут быть использованы только поля таблицы типа integer или date/time.

По указанному столбцу. Данные разбиваются по партициям Spark 3 в соответствии с уникальными значениями указанного столбца. Количество партиций Spark 3 соответствует количеству уникальных значений в указанном столбце. Необходимо установить параметр spark.adqm.partition.column (см. Опции ADQM Spark 3 Connector). Рекомендуется использовать данный режим при небольшом, ограниченном наборе значений.

append. Дополнительные данные записываются в целевую таблицу. При указании опции spark.adqm.cluster.name осуществляется попытка записи в каждый из шардов кластера, в ином случае — только в те шарды, которые указаны в spark.adqm.url. Если на каком-либо из шардов отсутствует таблица, в которую предполагается дозапись, процесс загрузки завершается ошибкой. В этом режиме на всех шардах должна быть предварительно создана целевая таблица.

errorIfExists. Если целевая таблица существует, появляется ошибка. В этом режиме предполагается, что целевой таблицы нет, она создается в процессе загрузки. Необходимо указать информацию о движке создаваемой целевой таблицы с помощью опции spark.adqm.create.table.engine. Если указана опция spark.adqm.cluster.name, то целевая таблица с указанным движком создается на каждом из шардов кластера, в ином случае — целевая таблица создается на каждом из шардов, заданных в опции spark.adqm.url.

overwrite. Данные в таблице перезаписываются. В зависимости от spark.adqm.table.truncate целевая таблица либо удаляется полностью, либо в ней все данные очищаются перед процессом записи. В случае полного удаления таблицы процесс записи аналогичен режиму errorIfExists, в случае очистки — аналогичен режиму append.

Движки семейства MergeTree. Предназначены для быстрой записи огромного объема данных по частям относительно заданных правил. Поддерживается основной движок MergeTree, а также его специальные версии:

Движок Distributed. Не хранит данные, а позволяет обрабатывать запросы распределенно на нескольких серверах, выполняя параллельное чтение автоматически (подробнее о создании и использовании таблиц типа Distributed в статье Шардирование документации ADQM).