Интеграция ADQM и HDFS

В HDFS в каталоге adqm_data_sources создайте файл test_1.txt с тестовыми данными для последующей вставки в таблицу ADQM:

"one",1
"two",2
"three",3

Запустите консольный клиент clickhouse-client и создайте таблицу на базе движка HDFS со структурой, соответствующей данным, которые будут импортироваться из HDFS:

CREATE TABLE hdfs_table (name String, value UInt32) ENGINE=HDFS('hdfs://<namenode_ip>:8020/adqm_data_sources/test_1.txt', 'CSV');

Запросите данные из таблицы:

SELECT * FROM hdfs_table;

┌─name──┬─value─┐
│ one   │     1 │
│ two   │     2 │
│ three │     3 │
└───────┴───────┘

Включите настройку hdfs_create_new_file_on_insert, чтобы при каждой вставке данных создавался новый файл в HDFS (например, если таблица была создана на основе файла file_name.txt, новым файлам названия будут назначаться по шаблону — file_name.1.txt, file_name.2.txt и так далее):

SET hdfs_create_new_file_on_insert = 1;

Выполните вставку данных, повторив два запроса INSERT INTO:

INSERT INTO hdfs_table VALUES('four', 4);

INSERT INTO hdfs_table VALUES('five', 5);

Проверьте содержимое каталога adqm_data_sources в HDFS:

$ hdfs dfs -ls /adqm_data_sources

Found 3 items
-rwxrwxrwx   3 clickhouse hadoop          9 2023-10-25 13:40 /adqm_data_sources/test_1.1.txt
-rwxrwxrwx   3 clickhouse hadoop          9 2023-10-25 13:40 /adqm_data_sources/test_1.2.txt
-rwxrwxrwx   3 clickhouse hadoop         23 2023-10-25 13:25 /adqm_data_sources/test_1.txt

$ hdfs dfs -cat /adqm_data_sources/test_1.1.txt

"four",4

$ hdfs dfs -cat /adqm_data_sources/test_1.2.txt

"five",5

SELECT * FROM hdfs_table;

┌─name──┬─value─┐
│ one   │     1 │
│ two   │     2 │
│ three │     3 │
└───────┴───────┘
┌─name─┬─value─┐
│ five │     5 │
└──────┴───────┘
┌─name─┬─value─┐
│ four │     4 │
└──────┴───────┘

Активируйте опцию hdfs_truncate_on_insert и выполните еще одну вставку данных в таблицу — в этом случае последний файл с данными будет перезаписан:

SET hdfs_truncate_on_insert = 1;

INSERT INTO hdfs_table VALUES('six', 6);

Проверьте содержимое каталога adqm_data_sources в HDFS:

$ hdfs dfs -ls /adqm_data_sources

Found 3 items
-rwxrwxrwx   3 clickhouse hadoop          9 2023-10-25 13:40 /adqm_data_sources/test_1.1.txt
-rwxrwxrwx   3 clickhouse hadoop          9 2023-10-25 13:45 /adqm_data_sources/test_1.2.txt
-rwxrwxrwx   3 clickhouse hadoop         23 2023-10-25 13:25 /adqm_data_sources/test_1.txt

$ hdfs dfs -cat /adqm_data_sources/test_1.2.txt

"six",6

Выполните настройку MIT Kerberos KDC и проведите керберизацию кластера ADH, следуя инструкциям в разделе MIT Kerberos документации ADH. В качестве имени realm используйте ADREALM.IO.

Убедитесь, что аутентификация в HDFS через Kerberos выполняется успешно. Для этого на хосте ADH создайте тикет на предоставление тикетов (Ticket-Granting Ticket, TGT) для принципала hdfs/<adh_node_hostname>@ADREALM.IO:

$ sudo -u hdfs kinit -k -t /etc/security/keytabs/hdfs.service.keytab hdfs/<adh_node_hostname>@ADREALM.IO

$ sudo -u hdfs hdfs dfs -ls /

Создайте в HDFS новый каталог /adqm_test_kerb и добавьте в него файл test_2.txt с несколькими строками для тестирования подключения ADQM через Kerberos, например:

"ten",10
"twenty",20
"thirty",30

Чтобы разрешить добавление данных на стороне ADQM, назначьте владельцем нового каталога пользователя adqm_user, от имени которого ADQM будет обращаться к HDFS (принципал этого пользователя будет создан на следующем шаге):

$ sudo -u hdfs hdfs dfs -chown -R adqm_user /adqm_test_kerb

На хосте, где развернут MIT Kerberos KDC, создайте принципал для пользователя adqm_user, который будет использоваться для подключения ADQM к HDFS:

$ sudo kadmin.local -q "add_principal -randkey adqm_user@ADREALM.IO"

Создайте для этого принципала keytab-файл:

$ sudo kadmin.local -q "xst -kt /tmp/adqm_user.keytab adqm_user@ADREALM.IO"

Скопируйте keytab-файл /tmp/adqm_user.keytab на хосты ADQM (например, в директорию /tmp).

$ sudo chown clickhouse:clickhouse /tmp/adqm_user.keytab
$ sudo chmod 0600 /tmp/adqm_user.keytab

В каталоге /etc/clickhouse-server/config.d создайте файл (например, hdfs_kerberos.xml) с настройками:

<?xml version="1.0"?>
<clickhouse>
    <hdfs>
        <hadoop_security_authentication>kerberos</hadoop_security_authentication>
        <hadoop_kerberos_keytab>/tmp/adqm_user.keytab</hadoop_kerberos_keytab>
        <hadoop_kerberos_principal>adqm_user@ADREALM.IO</hadoop_kerberos_principal>
        ...
    </hdfs>
</clickhouse>

Установите на хосте кластера ADQM пакеты:

$ sudo yum install krb5-libs krb5-workstation

Отредактируйте файл /etc/krb5.conf следующим образом (замените <kdc_host> на имя хоста с установленным MIT Kerberos KDC):

# Configuration snippets may be placed in this directory as well
includedir /etc/krb5.conf.d/

[logging]
 default = FILE:/var/log/krb5libs.log
 kdc = FILE:/var/log/krb5kdc.log
 admin_server = FILE:/var/log/kadmind.log

[libdefaults]
 dns_lookup_realm = false
 ticket_lifetime = 24h
 forwardable = true
 rdns = false
 pkinit_anchors = FILE:/etc/pki/tls/certs/ca-bundle.crt
 default_realm = ADREALM.IO

[realms]
 ADREALM.IO = {
  admin_server = <kdc_host>
  kdc = <kdc_host>
 }

[domain_realm]
 .adrealm.io = ADREALM.IO
 adrealm.io = ADREALM.IO

На хосте ADQM в консольном клиенте clickhouse-client создайте таблицу на базе движка HDFS:

CREATE TABLE hdfs_table_kerb (name String, value UInt32)
ENGINE=HDFS('hdfs://<namenode_ip>:8020/adqm_test_kerb/test_2.txt', 'CSV');

Считайте данные из таблицы:

SELECT * FROM hdfs_table_kerb;

   ┌─name───┬─value─┐
1. │ ten    │    10 │
2. │ twenty │    20 │
3. │ thirty │    30 │
   └────────┴───────┘

Вставьте в таблицу новую строку:

SET hdfs_create_new_file_on_insert = 1;

INSERT INTO hdfs_table_kerb VALUES('forty', 40);

Проверьте содержимое каталога adqm_test_kerb в HDFS:

$ sudo -u hdfs hdfs dfs -ls /adqm_test_kerb

-rwxrwxrwx   3 adqm_user hadoop         12 2025-02-24 09:04 /adqm_test_kerb/test_2.1.txt
-rw-r--r--   3 adqm_user hadoop         36 2025-02-24 08:53 /adqm_test_kerb/test_2.txt

$ sudo -u hdfs hdfs dfs -cat /adqm_test_kerb/test_2.1.txt

"forty",40