create-hive-table

Константин Алпашкин

Инструмент create-hive-table заполняет Hive metastore данными на основе таблицы базы данных, ранее импортированной в HDFS или запланированной для импорта. В процессе выполнения также выполняется команда --hive-import инструмента sqoop-import без необходимости предварительного импорта.

Если данные уже загружены в HDFS, вы можете использовать этот инструмент для завершения процедуры импорта данных в Hive. Вы также можете использовать инструмент для создания Hive-таблиц; затем данные могут быть импортированы после этапа препроцессинга пользователем.

Использование инструмента показано ниже.

$ sqoop create-hive-table <generic-args> <create-hive-table-args>
$ sqoop-create-hive-table <generic-args> <create-hive-table-args>

Общие аргументы Hadoop должны предшествовать любым аргументам create-hive-table. Аргументы create-hive-table могут указываться в любом порядке по отношению друг к другу.

Общие аргументы

--connect <jdbc-uri>

Указывает JDBC-строку соединения

--connection-manager <class-name>

Указывает класс диспетчера соединений

--connection-param-file <filename>

Указывает путь к файлу, который содержит параметры подключения

--driver <class-name>

Указывает класс JDBC-драйвера

--hadoop-mapred-home <dir>

Переопределяет $HADOOP_MAPRED_HOME

--help

Выводит справочную информацию

--password-file

Задает путь к файлу, который содержит пароль аутентификации

-P

Считывает пароль из консоли

--password <password>

Устанавливает пароль аутентификации

--username <username>

Устанавливает имя пользователя для аутентификации

--verbose

Выводит более подробную информацию во время работы

--relaxed-isolation

Устанавливает уровень изоляции транзакций read-uncommitted
Hive arguments

--create-hive-table

Если аргумент задан и Hive-таблица уже существует, выполнение завершается ошибкой

--hive-home <dir>

Переопределяет $HIVE_HOME

--hive-overwrite

Перезаписывает существующие данные в таблице Hive

--hive-table <table-name>

Устанавливает имя таблицы для использования при импорте в Hive

--table <t>

Указывает таблицу базы данных, из которой следует считывать определения
Аргументы форматирования строк вывода

--enclosed-by <char>

Устанавливает символ границ поля

--escaped-by <char>

Устанавливает символ экранирования

--fields-terminated-by <char>

Устанавливает символ разделителя полей

--lines-terminated-by <char>

Устанавливает символ конца строки

--mysql-delimiters

Использует стандартный набор разделителей MySQL: поля — ,, строки — \n, символ экранирования — \, опциональный enclosed-by (--optionally-enclosed-by) — '

--optionally-enclosed-by <char>

Устанавливает опциональный символ границ поля

Не используйте разделители enclosed-by или escaped-by с аргументами форматирования вывода, которые применяются для импорта в Hive. В настоящее время Hive не может их парсить.

Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней