Конференция Arenadata
ArenaTech 2026 – для всех, кому интересны технологии Big Data
Приглашаем вас принять участие в технической онлайн-конференции, посвященной работе с большими данными. Участие бесплатно для всех желающих.

В программе 3 блока докладов:

  • СУБД: архитектура и эксплуатация. Обсудим новые возможности Greengage DB и Arenadata DB на его основе, включая hot standby, обзор утилиты изменения кластерной топологии ggrebalance, вопросы безопасности и устранения CVE.
  • Платформа данных: безопасность и Kubernetes в ADH, аналитика в ADQM. Расскажем об управлении секретами и доступом в Arenadata Hyperwave с использованием OpenBao, особенности переноса сервисов в Kubernetes, а также про аналитические методы в инструментах ADQM.
  • Инструменты: кластерный менеджер, документация, ИИ-поиск. Поделимся опытом разработки технической документации (включая интеллектуальный поиск и ИИ-ассистент) и поговорим про развитие нашего кластерного менеджера ADCM.
Онлайн-конференция состоится 29 октября 2026 года, время трансляции: с 12:00 до 19:00 по московскому времени.
Осталось до события

count

Сергей Остапов

Подсчитывает количество каталогов, файлов и байтов по путям, которые соответствуют заданному шаблону файла.
Получает квоту и использование.
Выходными колонками с -count являются: DIR_COUNT, FILE_COUNT, CONTENT_SIZE, PATHNAME. Возвращает 0 при успешной попытке и -1 при ошибке.

Использование показано ниже:

$ hadoop fs -count [-q] [-h] [-v] [-x] [-t [<storage type>]] [-u] [-e] <paths>
Аргументы

-u

Управляет тем, какие столбцы содержит вывод: QUOTA, REMAINING_QUOTA, SPACE_QUOTA, REMAINING_SPACE_QUOTA, PATHNAME

-q

Управляет тем, какие столбцы содержит вывод: QUOTA, REMAINING_QUOTA, SPACE_QUOTA, REMAINING_SPACE_QUOTA, DIR_COUNT, FILE_COUNT, CONTENT_SIZE, PATHNAME

-t

Список возможных параметров, которые могут быть использованы: all, ram_disk, ssd, disk, archive

-h

Показывает размер в удобном для чтения формате

-v

Отображает строку заголовка

-x

Исключает моментальные снимки из расчета результата.
Без опции -x (по умолчанию) результат всегда вычисляется по всем INodes, включая все снимки под заданным путем.
Параметр -x игнорируется, если задан параметр -u или -q

-e

Показывает политику erasure coding для каждого файла

-e

Управляет тем, какие столбцы содержит вывод: DIR_COUNT, FILE_COUNT, CONTENT_SIZE,
ERASURECODING_POLICY, PATHNAME

-ERASURECODING_POLICY

Имя политики для файла.
Если для этого файла установлена политика erasure coding, то будет возвращено имя политики.
Если политика erasure coding не установлена, будет возвращено значение Replicated, что означает, что используется стратегия хранения с репликацией

Пример:

$ hadoop fs -count hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2
$ hadoop fs -count -q hdfs://nn1.example.com/file1
$ hadoop fs -count -q -h hdfs://nn1.example.com/file1
$ hadoop fs -count -q -h -v hdfs://nn1.example.com/file1
$ hadoop fs -count -u hdfs://nn1.example.com/file1
$ hadoop fs -count -u -h hdfs://nn1.example.com/file1
$ hadoop fs -count -u -h -v hdfs://nn1.example.com/file1
$ hadoop fs -count -e hdfs://nn1.example.com/file1
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней