Добавление и использование интерпретатора в HUE

Владимир Адаменков

Используемые в HUE коннекторы

HUE в составе ADH имеет преднастроенные коннекторы для источников данных Hive, Impala и Kyuubi[Spark3]. С помощью секции Custom hue.ini, доступной на конфигурационной странице сервиса HUE в интерфейсе ADCM, можно добавить множество других коннекторов — полный список приведен в документации HUE.

ПРИМЕЧАНИЕ

Преднастроенные коннекторы появляются в веб-интерфейсе HUE, если в кластере ADH присутствуют компоненты соответствующих сервисов:

  • Hive — сервис Hive со всеми компонентами;

  • Impala — сервис Impala со всеми компонентами;

  • PySpark — компонент Spark3 Livy Server на том же хосте, что и HUE Server;

  • Trino — сервис Trino со всеми компонентами, также требует SSL при использовании Kerberos-аутентификации;

  • Kyuubi[Spark3] — компоненты Kyuubi Server и Spark3 Client на том же хосте, что и HUE Server;

  • Flink — компонент Flink2 SQL-Gateway на любом хосте.

После добавления необходимых сервисов и/или компонентов нужно перезапустить сервис HUE, чтобы изменения вступили в силу.
ВАЖНО
Если Kerberos-аутентификация включена в кластере, интерпретатор Trino требует использования SSL.

Чтобы настроить коннектор, войдите в веб-интерфейс ADCM, выберите кластер ADH и перейдите в раздел Services → HUE → Components → HUE Server. Выберите требуемую секцию интерпретатора и откорректируйте параметры по необходимости. Описание параметров приведено на странице Конфигурационные параметры.

Соединение с ADB (Greenplum)

Ниже приведен пример, как добавить и настроить коннектор для БД ADB, которая основана на Greenplum.

Чтобы соединить HUE с экземпляром БД ADB, убедитесь, что она ожидает соединения на определенном сетевом интерфейсе от определенной учетной записи. Войдите в веб-интерфейс ADCM и выберите ваш кластер ADB, затем перейдите в раздел Services → ADB → Primary configuration. Откройте параметр Custom pg_hba section и добавьте в него строку следующего вида:

host <dbname> <user> <IP-address>/<mask> trust

где:

  • <dbname> — имя БД, к которой будет выполняться подключение.

  • <user> — имя пользователя БД.

  • <IP-address>/<mask> — IP-адрес и маска сети хоста ADH, на котором установлен HUE Server.

Пример:

host adb admin 10.10.10.21/0 trust

Сохраните конфигурацию, затем нажмите Actions и выберите Reconfigure.

После этого нужно добавить параметры соединения в конфигурацию HUE. Выберите ваш кластер ADH в веб-интерфейсе ADCM и перейдите в раздел Services → HUE → Components → HUE Server. В появившейся вкладке Primary configuration нажмите Show advanced. Откройте секцию Custom hue.ini и добавьте три параметра, нажимая Add property:

  • notebook.interpreters.greenplum.name = Greenplum

  • notebook.interpreters.greenplum.interface = sqlalchemy

  • notebook.interpreters.greenplum.options = '{"url": "postgresql+psycopg2://<user>:<password>@<dbaddress>:<port>/<dbname>"}'

где:

  • <password> — пароль пользователя БД.

  • <dbaddress> — IP-адрес хоста, на котором БД ожидает соединения (ADB master).

  • <port> — порт, на котором БД ожидает соединения.

Стандартный порт Greenplum в ADB — 5432. Пример для параметра options: '{"url": "postgresql+psycopg2://admin:Secure_pass35@10.10.10.10:5432/adb"}'.

Сохраните конфигурацию, затем в меню Actions выберите Restart HUE Server. Дождитесь окончания перезапуска и перейдите в веб-интерфейс HUE. Источник данных Greenplum должен появиться в меню быстрого просмотра и в списке Editor.

Источник данных Greenplum
Источник данных Greenplum
Источник данных Greenplum
Источник данных Greenplum

Можно выполнять запросы для выбранной таблицы. Введите запрос в рабочей области и нажмите Execute (или Ctrl+Enter).

Пример запроса
Пример запроса
Пример запроса
Пример запроса

Если параметр ADB Custom pg_hba section был задан неправильно или в конфигурации HUE Server были заданы неверные учетные данные, соединение не будет установлено и появится сообщение об ошибке.

Ошибка настройки pg_hba.conf
Ошибка настройки pg_hba.conf
Ошибка настройки pg_hba.conf
Ошибка настройки pg_hba.conf

Если в конфигурации HUE Server был задан неверный порт, соединение не будет установлено и появится сообщение об ошибке.

Ошибка отказа в соединении
Ошибка отказа в соединении
Ошибка отказа в соединении
Ошибка отказа в соединении
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней