count

Сергей Остапов

Подсчитывает количество каталогов, файлов и байтов по путям, которые соответствуют заданному шаблону файла.
Получает квоту и использование.
Выходными колонками с -count являются: DIR_COUNT, FILE_COUNT, CONTENT_SIZE, PATHNAME. Возвращает 0 при успешной попытке и -1 при ошибке.

Использование показано ниже:

$ hadoop fs -count [-q] [-h] [-v] [-x] [-t [<storage type>]] [-u] [-e] <paths>
Аргументы

-u

Управляет тем, какие столбцы содержит вывод: QUOTA, REMAINING_QUOTA, SPACE_QUOTA, REMAINING_SPACE_QUOTA, PATHNAME

-q

Управляет тем, какие столбцы содержит вывод: QUOTA, REMAINING_QUOTA, SPACE_QUOTA, REMAINING_SPACE_QUOTA, DIR_COUNT, FILE_COUNT, CONTENT_SIZE, PATHNAME

-t

Список возможных параметров, которые могут быть использованы: all, ram_disk, ssd, disk, archive

-h

Показывает размер в удобном для чтения формате

-v

Отображает строку заголовка

-x

Исключает моментальные снимки из расчета результата.
Без опции -x (по умолчанию) результат всегда вычисляется по всем INodes, включая все снимки под заданным путем.
Параметр -x игнорируется, если задан параметр -u или -q

-e

Показывает политику erasure coding для каждого файла

-e

Управляет тем, какие столбцы содержит вывод: DIR_COUNT, FILE_COUNT, CONTENT_SIZE,
ERASURECODING_POLICY, PATHNAME

-ERASURECODING_POLICY

Имя политики для файла.
Если для этого файла установлена политика erasure coding, то будет возвращено имя политики.
Если политика erasure coding не установлена, будет возвращено значение Replicated, что означает, что используется стратегия хранения с репликацией

Пример:

$ hadoop fs -count hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2
$ hadoop fs -count -q hdfs://nn1.example.com/file1
$ hadoop fs -count -q -h hdfs://nn1.example.com/file1
$ hadoop fs -count -q -h -v hdfs://nn1.example.com/file1
$ hadoop fs -count -u hdfs://nn1.example.com/file1
$ hadoop fs -count -u -h hdfs://nn1.example.com/file1
$ hadoop fs -count -u -h -v hdfs://nn1.example.com/file1
$ hadoop fs -count -e hdfs://nn1.example.com/file1
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней