Конференция Arenadata
Новое время — новый Greenplum
Мы приглашаем вас принять участие в конференции, посвященной будущему Open-Source Greenplum 19 сентября в 18:00:00 UTC +3. Встреча будет проходить в гибридном формате — и офлайн, и онлайн. Онлайн-трансляция будет доступна для всех желающих.
Внезапное закрытие Greenplum его владельцем — компанией Broadcom - стало неприятным сюрпризом для всех, кто использует или планирует начать использовать решения на базе этой технологии. Многие ожидают выхода стабильной версии Greenplum 7 и надеются на её дальнейшее активное развитие.
Arenadata не могла допустить, чтобы разрабатываемый годами Open-Source проект Greenplum прекратил своё существование, поэтому 19 сентября мы представим наш ответ на данное решение Broadcom, а участники сообщества получат исчерпывающие разъяснения на все вопросы о дальнейшей судьбе этой технологии.

На конференции вас ждёт обсуждение следующих тем:

  • План возрождения Greenplum;
  • Дорожная карта;
  • Экспертное обсуждение и консультации.
Осталось до события

Настройка внешней БД MySQL для хранения метаданных Ranger

Сергей Тихомиров

Обзор

Сервисное действие Migrate DB schema позволяет провести миграцию схемы базы данных и сервисных пользователей из внутренней базы данных на внешнюю. Миграция доступна для компонентов Ranger KMS и Ranger Admin.

Чтобы подготовить сервер БД и хосты кластера к миграции, следуйте шагам ниже.

ПРИМЕЧАНИЕ
Перед миграцией на внешнюю БД убедитесь в том, что она настроена и доступна.

Настройка сервера MySQL

Ниже представлен пример настройки сервера MySQL на машине с CentOS 7.

  1. Установите требуемую версию сервера MySQL (MariaDB). Дистрибутив CentOS 7 включает в себя сервер MariaDB 5.5 по умолчанию. Для установки другой версии сервера обратитесь к документации MariaDB.

    $ sudo yum install mariadb-server

  2. Запустите сервис MariaDB с помощью systemctl.

    $ sudo systemctl enable mariadb.service --now

  3. Проверьте наличие доступа к консоли mysql.

    $ mysql -u root

Дальнейшие действия зависят от компонента, для которого производится настройка. Команды ниже следует запускать в консоли mysql.

  • Ranger KMS

  • Ranger Admin

  1. Создайте пользователя для сервиса Ranger KMS.

    CREATE USER 'rangerkms'@'%' IDENTIFIED BY '<password>';

    где <password> — пароль для пользователя rangerkms.

  2. Создайте базу данных для сервиса.

    CREATE DATABASE rangerkms;

  3. Выдайте созданному пользователю все права на базу данных.

    GRANT ALL PRIVILEGES ON rangerkms.* TO 'rangerkms'@'%';

  1. Создайте пользователя для сервиса Ranger Admin.

    CREATE USER 'rangeradmin'@'%' IDENTIFIED BY '<password>';

    где <password> — пароль для пользователя rangeradmin.

  2. Создайте базу данных для сервиса.

    CREATE DATABASE ranger;

  3. Выдайте созданному пользователю все права на базу данных.

    GRANT ALL PRIVILEGES ON ranger.* TO 'rangeradmin'@'%';

После всех действий перезапустите сервис MariaDB:

$ sudo systemctl restart mariadb

Настройка хостов

Если вы ранее не устанавливали JDBC-драйвер MySQL на хосты Ranger KMS/Ranger Admin, это нужно сделать. Следуйте шагам ниже:

  1. Скачайте драйвер.

    $ wget https://downloads.adsw.io/ADH/3.2.4_arenadata2/centos/7/community/x86_64/jdbc-mysql-connector-8.0.33-1036.el7.noarch.rpm

  2. Установите драйвер при помощи yum.

    $ yum localinstall jdbc-mysql-connector-8.0.33-1036.el7.noarch.rpm

  3. Убедитесь, что файл jdbc-mysql-connector.jar появился в директории /usr/share/java/.

  4. Выполните настройку в ADCM.

  • Ranger KMS

  • Ranger Admin

  1. На странице Clusters найдите ваш кластер ADPS и кликните по его имени.

  2. Во вкладке Services нажмите Ranger.

  3. На открывшейся странице настроек разверните группу параметров dbks-site.xml и установите значения для следующих параметров:

    • ranger.ks.jpa.jdbc.password — пароль для пользователя внешней БД.

    • ranger.ks.jpa.jdbc.url — строка подключения JDBC. Например, jdbc:mysql://<database_host>:3306/rangerkms.

    • ranger.ks.jpa.jdbc.driver — имя класса JDBC-драйвера. Для MySQL это com.mysql.jdbc.Driver.

    • ranger.ks.jdbc.sqlconnectorjar — путь к JAR-файлу JDBC-драйвера, например /usr/share/java/jdbc-mysql-connector.jar.

    • ranger.ks.jpa.jdbc.user — имя пользователя внешней БД, например, rangerkms.

  4. В группе параметров Ranger KMS install.properties присвойте параметру DB_FLAVOR значение MYSQL.

  5. Нажмите Save.

  1. На странице Clusters найдите ваш кластер ADPS и кликните по его имени.

  2. Во вкладке Services нажмите Ranger.

  3. На открывшейся странице настроек разверните группу параметров ranger-admin-site.xml и установите значения для следующих параметров:

    • ranger.jpa.jdbc.password — пароль для пользователя внешней БД.

    • ranger.jpa.jdbc.url — строка подключения JDBC. Например, jdbc:mysql://<database_host>:3306/ranger.

    • ranger.jpa.jdbc.driver — имя класса JDBC-драйвера. Для MySQL это com.mysql.jdbc.Driver.

    • ranger.jdbc.sqlconnectorjar — путь к JAR-файлу JDBC-драйвера, например /usr/share/java/jdbc-mysql-connector.jar.

    • ranger.jpa.jdbc.user — имя пользователя внешней БД, например, rangeradmin.

  4. В группе параметров Ranger Admin install.properties присвойте параметру DB_FLAVOR значение MYSQL.

  5. Нажмите Save.

Миграция

  1. Запустите действие Migrate DB schema для Ranger.

  2. Выберите компоненты, для которых хотите выполнить миграцию.

    Опции для действия Migrate DB schema
    Действие Migrate DB schema

  3. Подтвердите действие.

Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней