Использование HttpFS

Елена Костюченко

HDFS предоставляет встроенный сервер HttpFS, который можно использовать для передачи данных между кластерами с разными версиями ADH, для доступа к данным через firewall, использования HTTP-сервисов и многого другого.

В Arenadata Hadoop сервер HttpFS предустановлен и доступен в виде пользовательского интерфейса HDFS. Для получения информации о пользовательских интерфейсах HDFS обратитесь к статье Обзор HDFS UI.

Вы можете ознакомиться с настройками HttpFS-сервера по умолчанию изучив следующие разделы на странице конфигурации HDFS: httpfs-site.xml, httpfs-env.sh и HDFS Heap Memory settings.

Чтобы найти эти параметры в ADCM, перейдите на страницу Clusters, выберите нужный кластер, перейдите на вкладку Services и нажмите на HDFS.

Пример запроса для вызова команды ls в директории user/tmp под пользователем admin:

$ curl 'http://<httpfs-host>:14000/webhdfs/v1/user/tmp?op=LISTSTATUS&user.name=admin'

Здесь <httpfs-host> — IP-адрес хоста с установленным сервером HttpFS.

Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней