Обзор ADPS
Arenadata Platform Security (ADPS) — это сервис для централизованного управления группами политик безопасности в Hadoop-кластере. Диаграмма ниже показывает, как кластер ADPS может быть интегрирован с кластером ADH, в котором есть Hive.
ADPS основан на следующих сервисах:
-
Ranger. Это ПО для мониторинга и управления сложными решениями безопасности данных для платформы Hadoop. Ranger может использовать базу данных MariaDB или PostgreSQL для хранения метаданных и политик. Логи Ranger audit хранятся в Solr — их можно просмотреть в Ranger Admin UI.
-
Knox. ADPS использует Knox в качестве обратного прокси для единой точки входа и для безопасности периметра. Активация SSL также происходит с помощью Knox.
-
ZooKeeper. Так как у Solr нет встроенного master node, он использует ZooKeeper для управления и реализации механизма service discovery.
Данный набор сервисов предлагает комплексный подход к безопасности и обеспечивает функции, описанные ниже.
Авторизация и контроль доступа
В ADPS включены функции, позволяющие системным администраторам контролировать доступ к данным в Hadoop, используя авторизацию на основе ролей. Для реализации данной идеи используются политики Ranger, для создания которых нужно включить Ranger-плагин соответствующего сервиса. Примеры моделей авторизации, поддерживаемых в ADPS:
-
точный контроль доступа к данным, хранящимся в HDFS;
-
контроль доступа на уровне ресурсов для YARN;
-
контроль доступа на сервисном уровне для операций MapReduce;
-
контроль на уровне таблиц и семейства колонок для данных в HBase;
-
контроль доступа на уровне таблиц в Apache Hive.
Аудит безопасности и мониторинг
ADPS позволяет следить за активностью Hadoop, используя аудит-логи. Вы можете использовать логи аудита из Knox Gateway для обеспечения безопасности периметра системы. Так, поддерживается логирование следующих процессов:
-
запросы доступа;
-
операции обработки данных;
-
изменения в данных.
Защита данных
ADPS предлагает механизм для шифрования данных в реальном времени. ADPS не нуждается в сторонних решениях по шифрованию или обфускации как данных "в состоянии покоя", так и данных, участвующих в процессах data discovery.
ADPS поддерживает следующие методы шифрования:
-
SSL для ADPS-компонентов. Данный режим подходит не для всех сред и сервисов — в частности, могут возникать проблемы во время взаимодействии внутренних сервисов при использовании данного протокола.
-
RPC-шифрование.
-
Шифрование Data Transfer Protocol.