Провайдер HBase

Обзор

Провайдер HBase позволяет DAG взаимодействовать с HBase. Он предоставляет хуки (hook), операторы (operator) и сенсоры (sensor) для выполнения административных задач и операций с данными в таблицах HBase, а также резервного копирования и восстановления.

Провайдер HBase позволяет:

  • создавать и удалять таблицы;

  • выполнять операции вставки, обновления, чтения и удаления строк;

  • сканировать таблицы;

  • выполнять пакетные операции;

  • создавать резервные копии и использовать их для восстановления;

  • управлять наборами резервного копирования;

  • проверять доступность таблиц и строк;

  • запускать DAG на основе изменений в таблицах HBase с помощью датасетов Airflow (asset в Airflow 3).

Провайдер соответствует стандартной архитектуре провайдеров в Airflow, в которой операторы выполняют задачи в DAG, хуки обеспечивают низкоуровневое взаимодействие с внешними системами, а сенсоры ожидают выполнения условий.

Провайдер поддерживает Airflow 3 и сохраняет обратную совместимость с Airflow 2.

В отличие от универсальных провайдеров Airflow, провайдер HBase поддерживает два механизма работы:

  • Thrift2 API для операций с данными в режиме онлайн;

  • утилиты HBase CLI для операций резервного копирования и восстановления.

Архитектура

Провайдер состоит из нескольких модулей Python:

  • Hooks

    Этот модуль отвечает за взаимодействие с HBase. Он содержит классы, устанавливающие соединения и предоставляющие интерфейс Python для выполнения операций HBase. В провайдере предусмотрены две реализации хуков:

    • HBaseThriftHook — взаимодействует с компонентом HBase Thrift2 Server и отвечает за управление таблицами, обработку данных и операции с метаданными.

    • HBaseCLIHook — выполняет команды клиента HBase и используется в рабочих процессах резервного копирования и восстановления.

  • Operators

    Этот модуль содержит задачи Airflow, представляющие отдельные операции в HBase. Каждый оператор проверяет параметры, инициализирует соответствующий хук, вызывает необходимый метод и возвращает результат выполнения в Airflow.

  • Sensors

    Модуль предоставляет сенсоры Airflow, которые периодически проверяют состояние ресурсов HBase. В отличие от операторов, сенсоры не изменяют данные. Они многократно выполняют небольшие запросы к HBase, проверяя выполнение указанного условия в течение заданного времени (тайм-аута). Например, ожидают создания таблицы перед загрузкой данных или появления определенной строки в результате выполнения другого рабочего процесса.

  • Datasets

    Модуль реализует функцию hbase_table_dataset() для создания датасетов Airflow, представляющих таблицы HBase. В Airflow 3 эта функция создает актив (asset). Датасеты (активы) можно использовать для настройки зависимостей между DAG и запуска последующих рабочих процессов при обновлении данных в таблице HBase.

  • Utils

    Модуль содержит вспомогательные классы и функции, используемые несколькими компонентами провайдера. К ним относятся перечисления, описывающие типы резервного копирования и поведение операторов, константы, используемые в провайдере, механизмы повторных попыток и утилиты для преобразования данных.

Эти модули работают как единый пайплайн. Во время выполнения DAG Airflow создает экземпляр оператора, который выбирает соответствующий хук в зависимости от требуемой операции. Хук устанавливает соединение с HBase по протоколу Thrift2 или через HBase CLI, выполняет требуемую операцию, при необходимости преобразует ответ в объект Python и возвращает результат оператору. Затем оператор передает статус выполнения задачи планировщику Airflow.

Провайдер использует модуль совместимости для поддержки различных API Airflow. В Airflow 3 он использует классы и контекст выполнения из Airflow SDK. В Airflow 2 используются соответствующие классы из устаревших модулей Airflow.

Требования

Требования зависят от используемой функциональности.

Если у вас уже есть кластер ADH с необходимыми компонентами, вы можете задействовать его совместно с кластером ADO, используя общие узлы.

Операции с данными

Для работы операторов и сенсоров необходимы:

  • HBase Thrift2 Server, запущенный в кластере ADH и доступный по сети для воркеров Airflow;

  • настроенное подключение HBase в Airflow.

Резервное копирование и восстановление

Для выполнения операций резервного копирования и восстановления необходимы:

  • установленный на хостах Airflow компонент HBase Client;

  • настроенный доступ воркеров Airflow к HDFS с необходимыми правами;

  • сетевое подключение между воркерами Airflow и HDFS.

Совместимость с версиями Airflow

Провайдер HBase поддерживает Airflow 3 и Airflow 2. Провайдер выбирает соответствующие классы Airflow в зависимости от установленной версии Airflow.

В Airflow 3 провайдер использует Airflow SDK для следующих компонентов:

  • определения DAG;

  • базовые классы операторов и сенсоров;

  • доступ к подключениям и переменным;

  • контекст выполнения.

В Airflow 2 провайдер продолжает использовать соответствующие классы из устаревших модулей Airflow.

Примеры DAG поддерживают Airflow 2 и Airflow 3. При создании DAG для Airflow 3 используйте новые пути импорта, предоставляемые Airflow.

Например, импортируйте DAG из airflow.sdk:

from airflow.sdk import DAG

with DAG(
    dag_id="example_hbase",
    schedule=None,
    catchup=False,
):
    ...

Если в DAG также используется PythonOperator, в Airflow 3 импортируйте его из airflow.providers.standard.operators.python.

Конфигурация

Провайдер HBase использует тип подключения Airflow hbase для хранения параметров, необходимых для взаимодействия с кластером HBase.

Операторы и сенсоры принимают параметр hbase_conn_id, который ссылается на настроенное подключение Airflow. Если идентификатор подключения не указан явно, по умолчанию используется подключение hbase_default.

Подключение HBase поддерживает взаимодействие как через Thrift2, так и через CLI. Один и тот же идентификатор подключения можно использовать в HBaseThriftHook и HBaseCLIHook.

Стандартная конфигурация

Ниже приведен список стандартных полей подключения в Airflow, используемых провайдером. Остальная конфигурация задается в поле Extra в формате JSON.

Поле Описание

Connection type

Должно быть установлено значение hbase

Host

Указывает имя хоста или IP-адрес HBase Thrift2 Server

Port

Указывает порт для Thrift2. Если не задан, используется стандартный порт HBase Thrift2 Server (9090)

Extra

Содержит специфичные для провайдера параметры конфигурации

Пример подключения Thrift2 без аутентификации:

  • Connection ID: hbase_default

  • Connection Type: hbase

  • Host: hbase-server.example.com

  • Port: 9090

  • Extra:

    {
      "timeout": 30000,
      "namespace": "default"
    }

Дополнительные параметры

Следующие параметры управляют поведением клиента Thrift2.

Параметр Описание Значение по умолчанию

timeout

Определяет тайм-аут запроса Thrift в миллисекундах

30000

namespace

Указывает пространство имен HBase, используемое по умолчанию операторами, которые не определяют его явно

default

use_http

Включает транспорт HTTP вместо используемого по умолчанию бинарного транспорта через сокет

false

retry_max_attempts

Определяет максимальное количество повторных попыток после сбоя соединения

3

retry_delay

Определяет начальную задержку между повторными попытками в секундах

1.0

retry_backoff_factor

Определяет множитель, используемый для увеличения задержки после каждой неудачной повторной попытки

2.0

Аутентификация Kerberos

Провайдер поддерживает аутентификацию Kerberos с помощью механизма GSSAPI.

Настройте параметры в поле подключения Extra, описанные в таблице ниже.

Параметр Описание Значение по умолчанию

auth_method

Метод аутентификации. Установите значение GSSAPI, чтобы включить аутентификацию Kerberos

 — 

kerberos_service_name

Указывает имя сервисного принципала Kerberos

hbase

kerberos_principal

Указывает принципал Kerberos, используемый подключением Airflow

 — 

kerberos_keytab

Указывает путь к keytab-файлу Kerberos

 — 

Пример:

{
  "auth_method": "GSSAPI",
  "kerberos_service_name": "hbase",
  "kerberos_principal": "airflow@YOUR.REALM",
  "kerberos_keytab": "/etc/security/keytabs/airflow.keytab",
  "timeout": 30000
}

На воркерах Airflow должна быть доступна корректная конфигурация Kerberos и необходимая среда аутентификации.

Для операций резервного копирования и восстановления через CLI провайдер также поддерживает аутентификацию Kerberos с помощью сервисного keytab HBase. Соответствующая конфигурация CLI описана в разделе Параметры CLI.

Пул соединений

По умолчанию провайдер использует одно соединение Thrift для каждого выполнения задачи. Эта стратегия, реализованная в Thrift2Strategy, подходит для большинства рабочих нагрузок и минимизирует потребление ресурсов.

Для производственных сред, в которых выполняются большие пакетные операции или несколько задач HBase одновременно, провайдер также поддерживает использование пула соединений через PooledThrift2Strategy. Вместо создания нового соединения для каждого запроса провайдер поддерживает пул повторно используемых соединений Thrift, которые могут совместно использоваться различными операциями. Повторное использование уже установленных соединений снижает накладные расходы на их создание и увеличивает пропускную способность при интенсивных рабочих нагрузках.

По умолчанию пул соединений отключен. Чтобы включить его, добавьте раздел connection_pool в поле подключения Extra.

{
  "connection_pool": {
    "enabled": true,
    "size": 10,
    "timeout": 30
  }
}

Доступные параметры пула соединений приведены ниже.

Параметр Описание Значение по умолчанию

enabled

Включает пул соединений

false

size

Указывает максимальное количество соединений Thrift, поддерживаемых в пуле

10

timeout

Определяет максимальное время в секундах, в течение которого задача ожидает доступное соединение перед возвратом ошибки

30

РЕКОМЕНДАЦИЯ
Для производственных сред, выполняющих пакетную обработку или несколько задач HBase одновременно, рекомендуется использовать пул соединений. При использовании нескольких рабочих потоков для пакетных операций настройте размер пула с учетом ожидаемого уровня параллелизма.

SSL/TLS

Провайдер поддерживает зашифрованное взаимодействие с HBase Thrift2 Server. Параметры SSL/TLS можно задать непосредственно в поле подключения Extra.

Провайдер поддерживает два формата конфигурации SSL:

  • Плоский — параметры SSL задаются непосредственно в Extra.

  • Вложенный — параметры SSL задаются внутри объекта ssl_options.

Параметр Описание Значение по умолчанию

ca_certs

Указывает путь к файлу доверенных сертификатов CA

 — 

cert_file

Указывает путь к файлу сертификата клиента

 — 

key_file

Указывает путь к файлу закрытого ключа клиента

 — 

validate

Определяет, выполняется ли проверка сертификата сервера при установлении соединения

true

use_http

Должен быть установлен в значение true, если HBase Thrift2 Server настроен на использование протокола HTTP

false

Следующий пример включает SSL-соединение с проверкой сертификата сервера:

{
  "use_http": true,
  "ssl_options": {
    "ca_certs": "/etc/ssl/certs/ca-bundle.pem",
    "cert_file": "/etc/ssl/certs/client.pem",
    "key_file": "/etc/ssl/private/client.key",
    "validate": true
  }
}

Те же параметры SSL можно указать непосредственно в Extra без объекта ssl_options.

Параметры CLI

Операторы резервного копирования и восстановления выполняют нативные команды HBase Backup CLI на воркере Airflow вместо взаимодействия с HBase через Thrift2.

Ниже приведены опциональные параметры для настройки среды выполнения.

Параметр Описание Значение по умолчанию

hbase_cmd

Указывает имя команды HBase

hbase

java_home

Указывает установку Java, используемую для выполнения команд HBase CLI

Переменная среды JAVA_HOME или /usr/lib/jvm/java-arenadata-openjdk-8

hbase_home

Указывает директорию установки HBase, содержащую клиентские утилиты

Переменная среды HBASE_HOME или /usr/lib/hbase

Эти параметры являются аргументами конструктора HBaseCLIHook. Их также можно задать с помощью переменных среды HBASE_CMD, JAVA_HOME и HBASE_HOME соответственно.

В средах, где компонент HBase Client установлен из ADH с использованием общих хостов, значения по умолчанию обычно не требуют изменения, поскольку указывают на стандартные директории установки, управляемые ADH.

Для операций CLI с поддержкой Kerberos хук также поддерживает параметры подключения Extra, описанные в таблице ниже.

Параметр Описание Значение по умолчанию

kerberos_keytab

Включает выполнение команд CLI с аутентификацией Kerberos, если указан keytab

 — 

hbase_service_keytab

Указывает сервисный keytab HBase, используемый для выполнения команд от имени пользователя hbase

/etc/security/keytabs/hbase.service.keytab

hbase_service_principal

Указывает сервисный принципал HBase

Формируется с использованием имени хоста воркера и kerberos_realm

kerberos_realm

Указывает область Kerberos, используемую для формирования сервисного принципала HBase, если hbase_service_principal не задан

KRB5-TEST

Для выполнения команд CLI с аутентификацией Kerberos воркер Airflow должен иметь возможность выполнять kinit и команды HBase CLI от имени пользователя hbase с помощью sudo без ввода пароля.

Хуки

Хуки реализуют уровень взаимодействия провайдера. Провайдер содержит две реализации хуков, поскольку сам HBase предоставляет разные интерфейсы для различных категорий операций.

HBaseThriftHook

HBaseThriftHook — основной интерфейс взаимодействия, используемый провайдером. Он устанавливает соединение с HBase Thrift2 Server и предоставляет методы для администрирования таблиц, обработки данных, получения метаданных и пакетной обработки. Все операторы для работы с данными и сенсоры используют этот хук для взаимодействия с кластером HBase.

Хук предоставляет методы для наиболее распространенных операций HBase, включая управление таблицами, обработку строк, сканирование таблиц и пакетную обработку.

Метод Описание

table_exists()

Проверяет существование указанной таблицы перед выполнением последующих операций

create_table()

Создает новую таблицу с указанными семействами столбцов

delete_table()

Удаляет существующую таблицу

put_row()

Создает новую строку или обновляет существующую

get_row()

Получает одну строку по ее ключу

delete_row()

Удаляет всю строку или выбранные столбцы в строке

scan_table()

Сканирует диапазон строк и возвращает найденные записи

batch_put_rows()

Записывает несколько строк с использованием настраиваемого размера пакета и при необходимости параллельного выполнения

batch_get_rows()

Получает несколько строк в рамках одной пакетной операции

batch_delete_rows()

Удаляет несколько строк пакетами

Хук также поддерживает интеграцию с OpenLineage. Если доступен провайдер OpenLineage, он может возвращать специфичную для HBase информацию о базе данных для формирования lineage-отчетов.

HBaseCLIHook

HBaseCLIHook выполняет нативные команды HBase CLI на воркере Airflow. Он используется для административных операций, требующих подсистему HBase Backup.

Хук предоставляет методы, соответствующие операциям HBase Backup CLI.

Метод Описание

create_full_backup()

Создает полную резервную копию одной или нескольких таблиц HBase

create_incremental_backup()

Создает инкрементную резервную копию на основе предыдущего образа резервной копии

restore_backup()

Восстанавливает данные из существующей резервной копии

get_backup_history()

Получает историю завершенных операций резервного копирования

describe_backup()

Отображает подробную информацию об образе резервной копии

create_backup_set()

Создает или изменяет набор резервного копирования, используемый при выполнении операций резервного копирования

list_backup_sets()

Возвращает настроенные наборы резервного копирования

execute_command()

Выполняет произвольную команду HBase CLI и возвращает результат ее выполнения

Операторы

Операторы реализуют задачи, которые можно непосредственно использовать в DAG Airflow. Каждый оператор инкапсулирует определенную операцию HBase, проверяет переданные параметры, инициализирует соответствующий хук, выполняет действие и при необходимости возвращает результат в контекст задачи Airflow.

Провайдер включает 10 операторов, разделенных на три группы: управление таблицами, обработка данных, резервное копирование и восстановление.

Операторы управления таблицами

Операторы управления таблицами выполняют административные операции с таблицами HBase. Провайдер включает операторы управления таблицами, представленные ниже.

Оператор Описание

HBaseCreateTableOperator

Создает таблицу HBase с указанными семействами столбцов. Параметр if_exists управляет поведением, если таблица уже существует

HBaseDeleteTableOperator

Удаляет существующую таблицу. Параметр disable определяет, нужно ли отключить таблицу перед удалением. Параметр if_not_exists управляет поведением, если таблица не существует

Операторы для работы с данными

Операторы для работы с данными выполняют операции чтения и записи через HBase Thrift2 Server API. Они используют HBaseThriftHook, который автоматически выбирает либо отдельное соединение Thrift, либо соединение из пула в зависимости от настроенного подключения Airflow.

Провайдер включает следующие операторы для обработки данных.

Оператор Описание

HBasePutOperator

Вставляет или обновляет одну строку

HBaseBatchPutOperator

Записывает несколько строк с использованием настраиваемой пакетной обработки и параллельного выполнения

HBaseBatchGetOperator

Получает несколько строк в рамках одной пакетной операции

HBaseScanOperator

Сканирует содержимое таблицы в заданном диапазоне строк

Операторы пакетной обработки поддерживают настройку размера пакета. HBaseBatchPutOperator также поддерживает параллельное выполнение с помощью параметра max_workers.

Операторы резервного копирования и восстановления

Операторы резервного копирования предоставляют доступ к подсистеме резервного копирования HBase через HBaseCLIHook. Провайдер включает операторы для управления резервным копированием, представленные ниже.

Оператор Описание

HBaseCreateBackupOperator

Создает полные или инкрементные резервные копии HBase

HBaseBackupHistoryOperator

Получает историю завершенных операций резервного копирования

HBaseRestoreOperator

Восстанавливает таблицы из существующей резервной копии

HBaseBackupSetOperator

Создает наборы резервного копирования HBase или выводит их список

HBaseCreateBackupOperator возвращает сгенерированный идентификатор резервной копии. Этот идентификатор можно передать в HBaseRestoreOperator с помощью XCom.

Сенсоры

Сенсоры позволяют DAG ожидать, пока в HBase не будет выполнено определенное условие, прежде чем продолжить работу. Все параметры сенсора, идентифицирующие ресурсы HBase, такие как имена таблиц и ключи строк, определяются как поля шаблонов Airflow. Это позволяет сенсорам отслеживать динамически создаваемые ресурсы, имена которых определяются во время выполнения DAG.

Провайдер включает следующие сенсоры.

Сенсор Описание

HBaseTableSensor

Ожидает, пока указанная таблица HBase не станет доступной. Во время каждого цикла проверки сенсор вызывает метод table_exists() класса HBaseThriftHook, чтобы определить, была ли создана таблица

HBaseRowSensor

Ожидает появления определенной строки в таблице HBase. Во время каждого цикла проверки сенсор получает строку с помощью метода HBaseThriftHook.get_row() и считает условие выполненным, если запрошенная строка содержит данные

Оба сенсора наследуют стандартные параметры сенсоров Airflow, включая timeout, poke_interval и mode.

Датасеты и планирование на основе событий

Провайдер HBase включает функцию hbase_table_dataset(), которая создает датасет Airflow, представляющий таблицу HBase.

В Airflow 3 датасеты Airflow реализованы как активы. Провайдер автоматически использует соответствующий объект в зависимости от установленной версии Airflow.

Функция принимает следующие параметры:

  • host — имя хоста HBase Thrift2 Server;

  • port — порт HBase Thrift2 Server (значение по умолчанию — 9090);

  • table_name — имя таблицы HBase (обязательный параметр).

Пример:

from airflow.providers.arenadata.hbase.datasets.hbase import hbase_table_dataset

users_dataset = hbase_table_dataset(
    host="hbase-server.example.com",
    port=9090,
    table_name="users",
)

Полученный актив можно использовать для настройки зависимостей между DAG.

Например, DAG-производитель может объявить таблицу HBase в качестве outlet:

from airflow.providers.arenadata.hbase.datasets.hbase import hbase_table_dataset
from airflow.providers.arenadata.hbase.operators.hbase import HBasePutOperator

users_dataset = hbase_table_dataset(
    host="hbase-server.example.com",
    table_name="users",
)

write_users = HBasePutOperator(
    task_id="write_users",
    table_name="users",
    row_key="user_001",
    data={"profile:name": "Alice"},
    hbase_conn_id="hbase_default",
    outlets=[users_dataset],
)

Последующий DAG может использовать тот же актив в качестве расписания. Airflow запускает этот DAG, когда предыдущая задача успешно обновила объявленный outlet.

Этот механизм используется в примерах создания резервных копий для запуска рабочих процессов резервного копирования на основе обновлений таблиц HBase.

Вспомогательные классы

Провайдер определяет несколько классов-перечислений, предоставляющих строго типизированные значения конфигурации для операторов HBase. Использование этих перечислений вместо строковых литералов повышает читаемость определений DAG, проверяет значения параметров до начала выполнения и снижает вероятность ошибок конфигурации.

Провайдер определяет следующие вспомогательные классы.

Тип Описание

BackupType

Определяет, выполняется ли операция резервного копирования как полное или инкрементное резервное копирование

BackupSetAction

Определяет действие, выполняемое HBaseBackupSetOperator, например, создание или вывод списка наборов резервного копирования

IfExistsAction

Определяет поведение операторов создания таблиц, если целевая таблица уже существует

IfNotExistsAction

Определяет поведение операторов удаления таблиц, если целевая таблица не существует

Использование провайдера в DAG

Чтобы использовать провайдер HBase, импортируйте необходимые операторы или сенсоры из пакета провайдера и настройте подключение HBase.

Примеры в этом разделе демонстрируют наиболее распространенные сценарии использования провайдера. Пакет провайдера также включает примеры DAG для базовых операций, аутентификации Kerberos, пакетной обработки, пула соединений, сенсоров, резервного копирования и восстановления.

Базовый поток обработки данных

Типичный рабочий процесс HBase состоит из создания таблицы, записи данных и чтения сохраненных записей.

Используйте HBaseCreateTableOperator, чтобы создать таблицу HBase и определить ее семейства столбцов:

from airflow.providers.arenadata.hbase.operators.hbase import HBaseCreateTableOperator

create_table = HBaseCreateTableOperator(
    task_id="create_table",
    table_name="users", (1)
    families={ (2)
        "profile": {},
        "contacts": {},
    },
    hbase_conn_id="hbase_default",
)
1 Имя таблицы HBase.
2 Семейства столбцов, создаваемые вместе с таблицей.

Используйте HBasePutOperator, чтобы вставить или обновить одну строку:

from airflow.providers.arenadata.hbase.operators.hbase import HBasePutOperator

insert_user = HBasePutOperator(
    task_id="insert_user",
    table_name="users",
    row_key="user_001", (1)
    data={ (2)
        "profile:name": "Alice",
        "profile:age": "30",
        "contacts:email": "alice@example.com",
    },
    hbase_conn_id="hbase_default",
)
1 Уникальный идентификатор строки.
2 Имена столбцов включают префикс семейства столбцов.

Используйте HBaseScanOperator, чтобы получить строки из таблицы:

from airflow.providers.arenadata.hbase.operators.hbase import HBaseScanOperator

scan_users = HBaseScanOperator(
    task_id="scan_users",
    table_name="users",
    row_start="user_000",
    row_stop="user_999",
    columns=[
        "profile:name",
        "contacts:email",
    ],
    limit=100,
    hbase_conn_id="hbase_default",
)

В Airflow 3 определяйте DAG с помощью нового импорта из SDK:

from datetime import datetime

from airflow.sdk import DAG
from airflow.providers.arenadata.hbase.operators.hbase import (
    HBaseCreateTableOperator,
    HBasePutOperator,
    HBaseScanOperator,
)

with DAG(
    dag_id="hbase_basic_workflow",
    start_date=datetime(2024, 1, 1),
    schedule=None,
    catchup=False,
) as dag:
    create_table = HBaseCreateTableOperator(
        task_id="create_table",
        table_name="users",
        families={"profile": {}, "contacts": {}},
        hbase_conn_id="hbase_default",
    )

    insert_user = HBasePutOperator(
        task_id="insert_user",
        table_name="users",
        row_key="user_001",
        data={
            "profile:name": "Alice",
            "profile:age": "30",
            "contacts:email": "alice@example.com",
        },
        hbase_conn_id="hbase_default",
    )

    scan_users = HBaseScanOperator(
        task_id="scan_users",
        table_name="users",
        row_start="user_000",
        row_stop="user_999",
        limit=100,
        hbase_conn_id="hbase_default",
    )

    create_table >> insert_user >> scan_users

Пакетная обработка

Для больших наборов данных вы можете использовать операторы пакетной обработки, чтобы уменьшить количество запросов Thrift и повысить пропускную способность.

HBaseBatchPutOperator записывает несколько строк с использованием настраиваемого размера пакета:

from airflow.providers.arenadata.hbase.operators.hbase import HBaseBatchPutOperator

batch_insert = HBaseBatchPutOperator(
    task_id="batch_insert",
    table_name="users",
    rows=rows,
    batch_size=200, (1)
    max_workers=4, (2)
    hbase_conn_id="hbase_default",
)
1 Количество строк, записываемых в одном пакете.
2 Количество параллельных рабочих потоков, используемых для пакетной обработки.

При использовании нескольких рабочих потоков включите пул соединений в подключении HBase, чтобы повысить пропускную способность.

Используйте HBaseBatchGetOperator, чтобы получить несколько строк за одну операцию:

from airflow.providers.arenadata.hbase.operators.hbase import HBaseBatchGetOperator

batch_get = HBaseBatchGetOperator(
    task_id="batch_get",
    table_name="users",
    row_keys=[
        "user_001",
        "user_002",
        "user_003",
    ],
    columns=[
        "profile:name",
        "contacts:email",
    ],
    hbase_conn_id="hbase_default",
)

Рабочий процесс резервного копирования

Провайдер интегрируется с HBase Backup CLI для управления наборами резервного копирования и выполнения операций резервного копирования и восстановления.

Перед созданием резервных копий подготовьте директорию резервного копирования в HDFS:

$ hdfs dfs -mkdir -p /hbase/backup
$ hdfs dfs -chmod 777 /hbase/backup

Права доступа chmod 777 используются только в целях тестирования и не подходят для использования в производственной среде.

hbase.backup.enable=true

Набор резервного копирования объединяет одну или несколько таблиц в повторно используемый объект резервного копирования.

Создайте набор резервного копирования:

from airflow.providers.arenadata.hbase.operators.hbase import (
    BackupSetAction,
    HBaseBackupSetOperator,
)

create_backup_set = HBaseBackupSetOperator(
    task_id="create_backup_set",
    action=BackupSetAction.ADD,
    backup_set_name="production_tables",
    tables=[
        "users",
        "orders",
    ],
    hbase_conn_id="hbase_default",
)

Используйте HBaseCreateBackupOperator, чтобы создать полную или инкрементную резервную копию.

Создайте резервную копию:

from airflow.providers.arenadata.hbase.operators.hbase import (
    BackupType,
    HBaseCreateBackupOperator,
)

create_backup = HBaseCreateBackupOperator(
    task_id="create_backup",
    backup_type=BackupType.FULL,
    backup_path="hdfs:///hbase/backup", (1)
    backup_set_name="production_tables",
    workers=2,
    hbase_conn_id="hbase_default",
)
1 Расположение резервной копии в HDFS.

Оператор передает сгенерированный идентификатор резервной копии в XCom для последующего использования при восстановлении.

Используйте HBaseBackupHistoryOperator, чтобы проверить завершенные операции резервного копирования:

from airflow.providers.arenadata.hbase.operators.hbase import HBaseBackupHistoryOperator

backup_history = HBaseBackupHistoryOperator(
    task_id="backup_history",
    backup_set_name="production_tables",
    hbase_conn_id="hbase_default",
)

Восстановите данные, используя идентификатор резервной копии, возвращенный задачей резервного копирования:

from airflow.providers.arenadata.hbase.operators.hbase import HBaseRestoreOperator

restore_backup = HBaseRestoreOperator(
    task_id="restore_backup",
    backup_path="hdfs:///hbase/backup",
    backup_id="{{ ti.xcom_pull(task_ids='create_backup') }}",
    tables=["users"],
    overwrite=True,
    hbase_conn_id="hbase_default",
)

Мониторинг

Используйте HBaseTableSensor, чтобы ожидать появления таблицы:

from airflow.providers.arenadata.hbase.sensors.hbase import HBaseTableSensor

wait_for_table = HBaseTableSensor(
    task_id="wait_for_table",
    table_name="users",
    timeout=300,
    poke_interval=30,
    hbase_conn_id="hbase_default",
)

Этот сенсор обычно используется, когда таблица создается другим DAG или внешним приложением.

Используйте HBaseRowSensor, чтобы ожидать появления определенной строки:

from airflow.providers.arenadata.hbase.sensors.hbase import HBaseRowSensor

wait_for_row = HBaseRowSensor(
    task_id="wait_for_row",
    table_name="users",
    row_key="user_001",
    timeout=600,
    poke_interval=60,
    hbase_conn_id="hbase_default",
)

Этот сенсор обычно используется для ожидания появления строк-маркеров, указывающих на завершение загрузки данных.

Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней