Конференция Arenadata
ArenaTech 2026 – для всех, кому интересны технологии Big Data
Приглашаем вас принять участие в технической онлайн-конференции, посвященной работе с большими данными. Участие бесплатно для всех желающих.

В программе 3 блока докладов:

  • СУБД: архитектура и эксплуатация. Обсудим новые возможности Greengage DB и Arenadata DB на его основе, включая hot standby, обзор утилиты изменения кластерной топологии ggrebalance, вопросы безопасности и устранения CVE.
  • Платформа данных: безопасность и Kubernetes в ADH, аналитика в ADQM. Расскажем об управлении секретами и доступом в Arenadata Hyperwave с использованием OpenBao, особенности переноса сервисов в Kubernetes, а также про аналитические методы в инструментах ADQM.
  • Инструменты: кластерный менеджер, документация, ИИ-поиск. Поделимся опытом разработки технической документации (включая интеллектуальный поиск и ИИ-ассистент) и поговорим про развитие нашего кластерного менеджера ADCM.
Онлайн-конференция состоится 29 октября 2026 года, время трансляции: с 12:00 до 19:00 по московскому времени.
Осталось до события

Spark и Hive

Константин Алпашкин

По умолчанию Spark может работать с Hive из коробки. Настройки для взаимодействия с Hive находятся в домашней директории — /etc/spark3/conf. Если ваше Spark-приложение взаимодействует с Hadoop, или же и с Hadoop и Spark, необходимо добавить файлы конфигурации Hadoop в Spark classpath.

Несколько одновременно запущенных приложений могут потребовать индивидуальной клиентской конфигурации Hadoop/Hive. Для каждого отдельного приложения вы можете модифицировать файлы hdfs-site.xml, core-site.xml, yarn-site.xml и поместить их в Spark classpath.

Примечание
Для кластеров Spark с YARN вышеупомянутые конфигурационные файлы устанавливаются на уровне кластера и не могут быть изменены приложением.

Наиболее простым способом указания параметров для Spark Hadoop является нотация вида spark.hadoop.* и spark.hive.* для Hive. Например, добавление spark.hadoop.abc.def=xyz аналогично Hadoop-параметру abc.def=xyz, а spark.hive.abc=xyz эквивалентно Hive-параметру hive.abc=xyz. Параметры, заданные в таком виде, является обычными Spark-параметрами, которые можно объявлять в файле $SPARK_HOME/conf/spark-defaults.conf. По умолчанию домашней директорией для Spark является /etc/spark3/conf, где вы можете хранить все настройки для Spark.

Иногда, чтобы не записывать определенные настройки в SparkConf, вы можете добавлять или переопределять определенные параметры при старте программы:

./bin/spark3-submit \
  --name "My app" \
  --master local[4] \
  --conf spark.eventLog.enabled=false \
  --conf "spark.executor.extraJavaOptions=-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" \
  --conf spark.hadoop.abc.def=xyz \
  --conf spark.hive.abc=xyz
  myApp.jar

Описания всех Spark-параметров доступны на странице документации Spark.

Кастомная настройка

Если вы хотите изменить настройку вашего Spark-приложения для Hive, существует 2 подхода:

  • Добавить кастомные параметры в файл spark-defaults.conf и поместить этот файл в classpath Hive.

  • Добавить кастомные параметры в конфигурационный файл hive-site.xml, который использует Hive. Все файлы конфигурации хранятся в домашней директории Spark — /etc/spark3/conf/hive-site.xml.

Дополнительная информация о параметрах Hive для Spark доступна в статье Параметры Hive on Spark.

Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней