Известные проблемы ADH

Сергей Тихомиров
Сервис/компонент Проблема С версии Fixed Обходное решение

Ozone

Невозможно активировать Kerberos-аутентификацию после установки

3.3.6.2

 — 

Установите кластер без сервиса Ozone, активируйте SSL и Kerberos, только затем проводите установку и настройку Ozone

Ozone

Клиенты не работают при активированной безопасной коммуникации между компонентами. Не активируйте hdds.grpc.tls.enabled

3.3.6.2

 — 

 — 

Trino, Smart Storage Manager

Сервис Trino не поддерживает клиент SSM. Другими словами, Trino не работает при включенной опции Enable SmartFileSystem for Hadoop (конфигурационный параметр сервиса SSM)

3.3.6.2

 — 

Не активируйте SmartFileSystem для Hadoop при использовании Trino

Flink и режим высокой доступности YARN

Если YARN работает в режиме высокой доступности (т.е. в кластере YARN имеется несколько компонентов ResourceManager), для корректного взаимодействия Flink c YARN необходимо вручную установить определенные параметры

4.0.0

4.1.0

В качестве временного решения необходимо указать следующие параметры в настройках сервиса Flink (Clusters → <ADH_cluster> → Services → Flink → Primary configuration → Custom flink-conf.yaml):

flink.yarn.resourcemanager.ha.enabled: True (1)
flink.yarn.resourcemanager.ha.rm-ids: <adh_rm-1>,<adh_rm-2>,<adh_rm-3> (2)
flink.yarn.resourcemanager.hostname.adh_rm-1: <adh_rm_fqdn-1> (3)
flink.yarn.resourcemanager.hostname.adh_rm-2: <adh_rm_fqdn-2>
flink.yarn.resourcemanager.hostname.adh_rm-3: <adh_rm_fqdn-3>
1 Информирует Flink об активном HA-режиме YARN.
2 Список ID компонентов ResourceManager, доступных в кластере YARN.
3 FQDN каждого компонента ResourceManager.

Актуальное значение для параметра flink.yarn.resourcemanager.ha.rm-ids можно найти в /etc/hadoop/conf/yarn-site.xml, например:

$ grep "yarn.resourcemanager.ha.rm-ids" /etc/hadoop/conf/yarn-site.xml -A1

Пример вывода:

<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm_ka-adh-2,rm_ka-adh-3</value>

Impala

Проблема заключается в интеграции Impala со внешним хранилищем объектов. Во время настройки и создания таблицы в локации S3 возникает следующая ошибка: Error reading from HDFS file: s3://…​

3.3.6.2

4.1.0

Удалите или переместите следующие файлы: /usr/lib/impala/lib/aws-java-sdk-core-1.12.765.jar, /usr/lib/impala/lib/aws-java-sdk-logs-1.12.765.jar

Trino, Ozone

Trino не работает с Ozone через протоколы osf и o3sf. Используйте протокол s3 (S3-шлюз). Должен быть определен в расположении объектов

3.3.6.2

4.0.0

ALTER …​ SET LOCATION 's3://…​'

Impala

При перемещении клиента Impala на другой хост не создаются все необходимые файлы

3.3.6.1

4.0.0

Перезапустите сервис после миграции компонентов

Smart Storage Manager

При активации SSL в кластере с помощью действия Manage SSL сервис продолжает работать через HTTP

3.3.6.1

4.0.0

Проведите ручную настройку согласно руководству
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней