Действия в SSM

Действиями в SSM называются команды, выполняемые с данными при выполнении особых условий, установленных в правилах.

В таблице ниже перечислены все возможные действия в SSM.

Действия в SSM
Действие Аргументы Описание

addec

[-policyName $policyName] [-codec $codecName -dataNum $dataNum -parityNum $parityNum -cellSize $cellSize]

Устанавливает запрошенную политику данных или политику EC с заданными параметрами. Например, RS-6-3-1024k. Значение cellSize в байтах должно быть кратным 1024. SSM поддерживает значения для cellSize в формате: 1KB, 1MB

allssd

-file $file

Перемещает файл на SSD-диск

alldisk

-file $file

Перемещает файл на дисковое хранилище

append

-file $file [-length $length -bufSize $bufSize]

Добавляет файл с длиной $length и размером буфера $bufSize

archive

-file $file

Архивирует файл

cache

-file $file [-replica $replica_num]

Сохраняет файл в кеше HDFS. $replica_num — количество реплик, которые нужно кешировать. Если количество реплик не указано, SSM использует значение по умолчанию из HDFS или создаст одну реплику, если это директория

checkcompress

-file $file

Показывает состояние сжатия файла. Не применимо к директории

checkec

-file $file

Показывает политику EC для файла или директории

checkstorage

-file $file

Показывает тип хранения файла

checksum

-file $file

Показывает контрольную сумму файла

compact

-file ['$file1','$file2',..] -containerFile $containerFile

Сжимает запрошенные файлы в файл-контейнер. Сжатые файлы не должны иметь пробелов. Контейнеры не могут быть сжаты

compress

-file $file [-bufSize $bufSize] [-codec $codec]

Сжимает файл (не применимо к директории). Если опция -bufSize не указана, SSM использует значение, полученное путем деления размера файла на максимальное количество разделений, настроенное в smartdefault.xml. Наименьший размер буфера составляет 1 МБ. SSM поддерживает настройку удобочитаемого значения для bufSize, например, 1MB. SSM также поддерживает различные реализации сжатия, включая Lz4, Bzip2, Zlib и snappy. Если опция -codec не указана, SSM будет использовать Zlib по умолчанию

concat

-file $src -dest $dest

Объединяет указанные файлы в целевом файле. $src принимает список из как минимум двух файлов, разделенных запятой

copy

-file $src -dest $dest [-offset $offset] [-length $length] [-bufSize $size]

Копирует запрошенный файл с дополнительными параметрами: смещение, длина и размер буфера

copy2s3

copy2s3 -file $file -dest $s3_dest

Копирует файл в хранилище S3. Значение $s3_dest должно быть URL, начинающимся с s3a://

decompress

-file $file [-bufSize $size]

Распаковывает файл (не применимо к директории)

delete

-file $file

Удаляет файл

disableec

-policy $policyName

Отключает указанную политику EC

ec

-file $file [-policy $policyName -bufSize $bufSize]

Изменяет политику EC файла на указанную. Если параметр -policy не указан, SSM будет использовать значение по умолчанию, настроенное в HDFS. Если параметр -bufSize не указан, SSM будет использовать значение по умолчанию в байтах, эквивалентное 1 МБ. SSM поддерживает значения для bufSize в формате: 1KB, 1MB

echo

-msg $message

Выводит сообщение

enableec

-policy $policyName

Включает заданную политику EC

list

-file $src

Выводит список всех файлов в директории

listec

 — 

Выводит список всех политик EC

merge

-file $src -dest $dest [-bufSize $size]

Объединяет файлы в целевой файл. Значение $src должно содержать не менее двух файлов, разделенных запятой

onedisk

-file $file

Перемещает одну реплику файла на диск. Не применимо к блокам EC

onessd

-file $file

Перемещает одну реплику файла на SSD. Не применимо к блокам EC

ramdisk

-file $file

Устанавливает политику хранения LAZY_PERSIST для директории с заранее настроенным параметром RAM_DISK

read

-file $file [-bufSize $size]

Читает файл с указанным размером буфера

removeec

-policy $policyName

Удаляет указанную политику EC

rename

-file $src -dest $dest

Переименовывает файл или директорию

truncate

-file $src -length $length

Обрезает файл до указанного размера

truncate0

-file $src

Обрезает файл до 0 МБ

uncache

-file $file

Удаляет файл из кеша HDFS

uncompact

-containerFile $containerFile

Распаковывает контейнер в исходные файлы

unec

-file $file [-bufSize $bufSize]

Изменяет политику EC для файла на репликацию. Если значение -bufSize не указано, SSM будет использовать значение по умолчанию в байтах, эквивалентное 1 МБ. SSM поддерживает значения для bufSize в формате: 1KB, 1MB

write

-file $file -length $length [-bufSize $size]

Записывает случайные данные в файл с указанным размером и длиной буфера

sleep

-m $millisecond

Приостанавливает работу на указанное количество миллисекунд

sync

-dest $dest -preserve $attributes

Синхронизирует файл в $dest с разделенным запятыми списком атрибутов файла: владелец, группа, разрешения, репликация, время изменения

distcp

-file $file -target $target [DistCp additional options]

Использует команду Hadoop distcp для указанных файлов

user defined actions

 — 

Позволяет реализовать пользовательские действия

Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней