Требования к файловой системе
Поддерживаемые файловые системы
Файловая система Hadoop Distributed File System (HDFS) предназначена для работы поверх базовой файловой системы операционной системы. Поддерживаются следующие операционные системы:
-
ext3 — наиболее протестированная базовая файловая система для HDFS;
-
ext4 — является масштабируемым расширением ext3;
-
XFS — файловая система по умолчанию в RHEL 7.
Если вы выбираете между ext3 и ext4, рекомендуется ext4.
Использование опции noatime для повышения производительности
Файловые системы Linux хранят метаданные, которые записывают время доступа к каждому файлу. Это означает, что каждая операция чтения также осуществляет запись на диск. Отключите эту функцию, чтобы ускорить чтение файлов. Для этого добавьте опцию монтирования noatime
в каждую строку, которая определяет файловую систему в файле /etc/fstab, например:
/dev/sdb1 /data1 xfs defaults,noatime 0
Используйте следующую команду, чтобы применить изменения без перезагрузки:
$ mount -o remount /data1
Ограничения использования параметров монтирования файловой системы
-
Опция монтирования
sync
позволяет осуществлять запись синхронно. Использование синхронизации снижает производительность сервисов, записывающих данные на диски (например, HDFS и YARN). В ADH большинство операций записи реплицируются, поэтому синхронная запись на диск не является необходимой, она ресурсозатратна и не дает заметного улучшения стабильности работы кластера. Использоватьsync
не рекомендуется. -
Опции
nfs
иnas
не поддерживаются при монтировании каталога данных DataNode. -
Монтирование /tmp как файловой системы с опцией
noexec
не поддерживается. Этот способ используется для предотвращения выполнения хранящихся файлов.
Опция umask
UNIX-системы используют umask (user file-creation mode mask), чтобы устанавливать разрешения по умолчанию для создаваемых файлов и каталогов. В большинстве дистрибутивов Linux значение umask по умолчанию — 0022 (022)
или 0002 (002)
. Базовые права для каталога — 0777 (rwxrwxrwx)
, а для файла — 0666 (rw-rw-rw)
. Чтобы определить права доступа после применения umask, вычтите значение umask из базовых прав. Значение umask 0002
используется для обычного пользователя. При использовании этого значения права по умолчанию для каталога — 775
, а для файла — 664
. Для суперпользователя (root) маска по умолчанию — 0022
. При использовании этой маски права по умолчанию для каталога — 755
, а для файла — 644
.
Вы можете установить umask в файле etc/bashrc или /etc/profile.
ADH поддерживает значения umask, перечисленные в таблице ниже.
Значение umask |
Файл |
Каталог |
||||||
---|---|---|---|---|---|---|---|---|
Результат |
Владелец |
Группа |
Остальные |
Результат |
Владелец |
Группа |
Остальные |
|
0022 (рекомендовано) |
644 |
rw- |
r-- |
r-- |
755 |
rwx |
r-x |
r-x |
0002 |
664 |
rw- |
rw- |
r-- |
775 |
rwx |
rwx |
r-x |
0000 |
666 |
rw- |
rw- |
rw- |
777 |
rwx |
rwx |
rwx |