Hive on Spark

Константин Алпашкин
Содержание

Hive on Spark позволяет Hive использовать Apache Spark в качестве основного механизма выполнения. По умолчанию Hive использует Tez в качестве основного механизма выполнения.

Настройка

Наиболее простой способ активировать движок Spark — использовать ADCM.

Для этого на странице Hive Configuration необходимо изменить значение параметра hive.execution.engine. Также этот параметр можно изменить в файле hive-site.xml, который находится в директории с настройками Hive по умолчанию: /etc/hive/conf/. Параметр hive.execution.engine представлен ниже.

<property>
    <name>hive.execution.engine</name>
    <value>spark</value>
</property>

Более детальную информацию о настройке Spark вы можете увидеть на странице Spark и Hive.

Домашняя директория Spark содержит конфигурационный файл Hive (/etc/spark/conf/hive-site.xml). Вы можете изменять или добавлять параметры в этот файл, чтобы кастомизировать работу вашего Spark-приложения и Hive.

Файл настроек по умолчанию
<?xml version="1.0"?>
<configuration>
        <property>
                <name>hive.cbo.enable</name>
                <value>True</value>
        </property>
        <property>
                <name>hive.compute.query.using.stats</name>
                <value>False</value>
        </property>
        <property>
                <name>hive.execution.engine</name>
                <value>spark</value>
        </property>
        <property>
                <name>hive.log.explain.output</name>
                <value>True</value>
        </property>
        <property>
                <name>hive.metastore.event.db.notification.api.auth</name>
                <value>False</value>
        </property>
        <property>
                <name>hive.metastore.kerberos.keytab.file</name>
                <value>/etc/security/keytabs/hive.service.keytab</value>
        </property>
        <property>
                <name>hive.metastore.kerberos.principal</name>
                <value>hive/_HOST@EXAMPLE.COM</value>
        </property>
        <property>
                <name>hive.metastore.sasl.enabled</name>
                <value>False</value>
        </property>
        <property>
                <name>hive.metastore.uris</name>
                <value>thrift://aai-adh.ru-central1.internal:9083</value>
        </property>
        <property>
                <name>hive.metastore.warehouse.dir</name>
                <value>/apps/hive/warehouse</value>
        </property>
        <property>
                <name>hive.server2.authentication</name>
                <value>NONE</value>
        </property>
        <property>
                <name>hive.server2.authentication.kerberos.keytab</name>
                <value>/etc/security/keytabs/hive.service.keytab</value>
        </property>
        <property>
                <name>hive.server2.authentication.kerberos.principal</name>
                <value>hive/_HOST@EXAMPLE.COM</value>
        </property>
        <property>
                <name>hive.server2.authentication.spnego.keytab</name>
                <value>/etc/security/keytabs/HTTP.service.keytab</value>
        </property>
        <property>
                <name>hive.server2.authentication.spnego.principal</name>
                <value>HTTP/_HOST@EXAMPLE.COM</value>
        </property>
        <property>
                <name>hive.server2.enable.doAs</name>
                <value>False</value>
        </property>
        <property>
                <name>hive.stats.fetch.column.stats</name>
                <value>False</value>
        </property>
        <property>
                <name>hive.support.concurrency</name>
                <value>False</value>
        </property>
        <property>
                <name>hive.tez.container.size</name>
                <value>1024</value>
        </property>
        <property>
                <name>hive.txn.manager</name>
                <value>org.apache.hadoop.hive.ql.lockmgr.DummyTxnManager</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>admin</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://aai-adh3.ru-central1.internal:3306/hive</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>APP</value>
        </property>
</configuration>
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней