Руководство администратора по HDFS

В руководстве приведены сведения по настройке Ambari и Hadoop для Kerberos, расширенные параметры безопасности для Ambari и аутентификация SPNEGO для Hadoop.

Документ может быть полезен администраторам, программистам, разработчикам и сотрудникам подразделений информационных технологий, осуществляющих внедрение и сопровождение кластера.

Important

Контактная информация службы поддержки – e-mail: info@arenadata.io

Оглавление:

• ACL на HDFS
  • Настройка ACL на HDFS
  • Использование команд CLI для создания ACL
• Примеры ACL
  • Введение: ACL в сравнении с разрешениями
  • Пример 1: Предоставление доступа к другой именованной группе
  • Пример 2: Использование ACL по умолчанию для автоматического применения к дочерним файлам и каталогам
  • Пример 3: Блокировка доступа конкретного пользователя к подкаталогу
• Особенности ACL для HDFS
  • Реализация POSIX ACL
• Архивные хранилища
  • Введение
  • Типы хранилищ HDFS
  • Политики хранения: “Hot”, “Warm”, и “Cold”
  • Настройка архивного хранилища
• Централизованное управление кэшем в HDFS
  • Обзор
  • Кэширование
  • Архитектура кеширования
  • Терминология кэширования
  • Настройка централизованного кэширования
  • Ограничения ОС
  • Использование Cache Pools и Directives
  • Команды Cache Pools
  • Команды Cache Directives
• Настройка HDFS Compression
• Настройка Rack Awareness на ADH
  • I. Создание скрипта Rack Topology
  • II. Добавление свойства Script Topology в core-site.xml
  • III. Перезапуск HDFS и MapReduce
  • IV. Контроль Rack Awareness
• Архивы Hadoop
  • Введение
  • Компоненты архивов Hadoop
  • Создание архива Hadoop
  • Hadoop Archives и MapReduce
• API-интерфейсы JMX Metrics для HDFS Daemons
  • Использование веб-интерфейса HDFS Daemon
  • Прямой доступ к удаленному агенту JMX
• Память в качестве хранилища (техническое превью)
  • Введение
  • Типы хранилища HDFS
  • Политика хранения LAZY_PERSIST
  • Настройка памяти в качестве хранилища
  • Использование “mover” для применения политик хранения
• Запуск DataNodes от Non-root
  • Введение
  • Настройка DataNode SASL
• Режим локального чтения данных на HDFS
  • Необходимые компоненты
  • Настройка локального чтения данных на HDFS
• Руководство администратора по WebHDFS