metastore

Инструмент metastore позволяет разместить общее хранилище метаданных. Пользователи (в том числе удаленные пользователи) могут создавать и выполнять сохраненные задачи (созданные с помощью sqoop job), которые содержатся в этом хранилище.

Для подключения к хранилищу метаданных клиенты должны использовать sqoop-site.xml или аргумент --meta-connect.

Использование инструмента показано ниже.

Общие аргументы Hadoop должны предшествовать любым аргументам metastore. Аргументы metastore могут указываться в любом порядке по отношению друг к другу.

Выполнение sqoop-metastore запускает общий экземпляр базы данных HSQLDB на текущей машине. Клиенты могут подключаться к этому хранилищу метаданных и создавать задачи, которые могут быть разделены между пользователями для выполнения.

Расположение файлов хранилища на диске определяется свойством sqoop.metastore.server.location в файле conf/sqoop-site.xml, который находится в локальной файловой системе.

Хранилище метаданных также доступно по TCP/IP. Порт задается конфигурационным параметром sqoop.metastore.server.port и по умолчанию равен 16000.

Клиентские приложения для соединения с хранилищем должны использовать параметр sqoop.metastore.client.autoconnect.url или аргумент --meta-connect, значение для которых выглядит следующим образом: jdbc:hsqldb:hsql://<server-name>:<port>/sqoop. Например, jdbc:hsqldb:hsql://metaserver.example.com:16000/sqoop.

Хранилище метаданых может размещаться на машине в Hadoop-кластере или в другом месте в сети.