Требования к файловой системе

Поддерживаемые файловые системы

Файловая система Hadoop Distributed File System (HDFS) предназначена для работы поверх базовой файловой системы операционной системы. Поддерживаются следующие операционные системы:

  • ext3 — наиболее протестированная базовая файловая система для HDFS;

  • ext4 — является масштабируемым расширением ext3;

  • XFS — файловая система по умолчанию в RHEL 7.

Если вы выбираете между ext3 и ext4, рекомендуется ext4.

Использование опции noatime для повышения производительности

Файловые системы Linux хранят метаданные, которые записывают время доступа к каждому файлу. Это означает, что каждая операция чтения также осуществляет запись на диск. Отключите эту функцию, чтобы ускорить чтение файлов. Для этого добавьте опцию монтирования noatime в каждую строку, которая определяет файловую систему в файле /etc/fstab, например:

/dev/sdb1 /data1 xfs defaults,noatime 0

Используйте следующую команду, чтобы применить изменения без перезагрузки:

$ mount -o remount /data1

Ограничения использования параметров монтирования файловой системы

  • Опция монтирования sync позволяет осуществлять запись синхронно. Использование синхронизации снижает производительность сервисов, записывающих данные на диски (например, HDFS и YARN). В ADH большинство операций записи реплицируются, поэтому синхронная запись на диск не является необходимой, она ресурсозатратна и не дает заметного улучшения стабильности работы кластера. Использовать sync не рекомендуется.

  • Опции nfs и nas не поддерживаются при монтировании каталога данных DataNode.

  • Монтирование /tmp как файловой системы с опцией noexec не поддерживается. Этот способ используется для предотвращения выполнения хранящихся файлов.

Опция umask

UNIX-системы используют umask (user file-creation mode mask), чтобы устанавливать разрешения по умолчанию для создаваемых файлов и каталогов. В большинстве дистрибутивов Linux значение umask по умолчанию — 0022 (022) или 0002 (002). Базовые права для каталога — 0777 (rwxrwxrwx), а для файла — 0666 (rw-rw-rw). Чтобы определить права доступа после применения umask, вычтите значение umask из базовых прав. Значение umask 0002 используется для обычного пользователя. При использовании этого значения права по умолчанию для каталога — 775, а для файла — 664. Для суперпользователя (root) маска по умолчанию — 0022. При использовании этой маски права по умолчанию для каталога — 755, а для файла — 644.

Вы можете установить umask в файле etc/bashrc или /etc/profile.

ADH поддерживает значения umask, перечисленные в таблице ниже.

Поддерживаемые значения umask

Значение umask

Файл

Каталог

Результат

Владелец

Группа

Остальные

Результат

Владелец

Группа

Остальные

0022 (рекомендовано)

644

rw-

r--

r--

755

rwx

r-x

r-x

0002

664

rw-

rw-

r--

775

rwx

rwx

r-x

0000

666

rw-

rw-

rw-

777

rwx

rwx

rwx

Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней