metastore
Инструмент metastore
позволяет разместить общее хранилище метаданных.
Пользователи (в том числе удаленные пользователи) могут создавать и выполнять сохраненные задачи (созданные с помощью sqoop job
), которые содержатся в этом хранилище.
Для подключения к хранилищу метаданных клиенты должны использовать sqoop-site.xml или аргумент --meta-connect
.
Использование инструмента показано ниже.
$ sqoop metastore <generic-args> <metastore-args>
$ sqoop-metastore <generic-args> <metastore-args>
Общие аргументы Hadoop должны предшествовать любым аргументам metastore
.
Аргументы metastore
могут указываться в любом порядке по отношению друг к другу.
--shutdown |
Выключает экземпляр metastore |
Выполнение sqoop-metastore
запускает общий экземпляр базы данных HSQLDB на текущей машине.
Клиенты могут подключаться к этому хранилищу метаданных и создавать задачи, которые могут быть разделены между пользователями для выполнения.
Расположение файлов хранилища на диске определяется свойством sqoop.metastore.server.location
в файле conf/sqoop-site.xml, который находится в локальной файловой системе.
Хранилище метаданных также доступно по TCP/IP.
Порт задается конфигурационным параметром sqoop.metastore.server.port
и по умолчанию равен 16000.
Клиентские приложения для соединения с хранилищем должны использовать параметр sqoop.metastore.client.autoconnect.url
или аргумент --meta-connect
, значение для которых выглядит следующим образом: jdbc:hsqldb:hsql://<server-name>:<port>/sqoop.
Например, jdbc:hsqldb:hsql://metaserver.example.com:16000/sqoop.
Хранилище метаданых может размещаться на машине в Hadoop-кластере или в другом месте в сети.