Динамическая аллокация ресурсов

Spark предоставляет механизм динамической регулирования ресурсов, которые требуются приложениям, на основе загрузки кластера. Это означает, что приложение может высвободить занятые им ресурсы в пользу кластера при условии, что приложение не использует эти ресурсы в данный момент. При необходимости в последующем приложение может запросить ресурсы у кластера. Эта опция особенно полезна в ситуациях, при которых несколько приложений делят ресурсы Spark кластера.

Более подробно динамическая аллокация описана в документации Apache Spark

Включение динамической аллокации

Для включения динамической аллокации ресурсов необходимо:

  1. Нажать кнопку “Switch dynamic allocation” сервиса Spark;
  2. Перезапустить сервисы YARN и Spark (последовательность важна) посредством кнопки “Restart” соответствующего сервиса.