Python 2 & 3 Интерпретатор для Apache Zeppelin

Конфигурирование

Для настройки Python для Apache Zeppelin необходимо задать параметры, представленные в таблице.

Табл. 24. Параметры конфигурации
Параметр Значение по умолчанию Описание
zeppelin.python python Путь к уже установленному бинарному пакету Python (может быть python2 или python3). Если python не прописан в $PATH, можно задать полный путь (например: /usr/bin/python)
zeppelin.python.maxResult 1000 Максимальное количество отображаемых строк датафрейма

Включение интерпретатора Python

Для включения интерпретатора Python в блокноте необходимо нажать значок “Gear” и выбрать “Python”.

Использование интерпретатора Python

Для выбора интерпретатора Python необходимо в параграфе указать %python, а затем ввести все команды. Интерпретатор может работать, только если уже установлен python (интерпретатор не предоставляет собственные бинарные файлы python). Получить справку можно вызовом команды help().

Переменные окружения Python

  • По умолчанию

По умолчанию PythonInterpreter использует команду python, определенную в свойстве zeppelin.python для запуска процесса python. Интерпретатор может использовать все установленные модули (с помощью pip, easy_install и других)

  • Conda

Conda – это система управления пакетами и переменными окружения python. Интерпретатор %python.conda позволяет переключаться между переменными окружения.

Перечень переменных окружения:

%python.conda

Активация переменных окружения:

%python.conda activate [ENVIRONMENT_NAME]

Деактивация переменных окружения:

%python.conda deactivate
  • Докер

Интерпретатор %python.docker позволяет PythonInterpreter создавать процесс python в указанном докер-контейнере.

Активация переменных окружения:

%python.docker activate [Repository]
%python.docker activate [Repository:Tag]
%python.docker activate [Image Id]

Деактивация переменных окружения:

%python.docker deactivate

Пример:

# activate latest tensorflow image as a python environment
%python.docker activate gcr.io/tensorflow/tensorflow:latest

Использование Zeppelin Dynamic Forms

Динамическую форму Zeppelin можно использовать внутри кода Python (см. подробное описание).

Zeppelin Dynamic Form может использоваться только в том случае, если в системе установлена py4j Python library. Библиотеку можно установить с помощью pip install py4j.

Пример:

%python
### Input form
print (z.input("f1","defaultValue"))

### Select form
print (z.select("f1",[("o1","1"),("o2","2")],"2"))

### Checkbox form
print("".join(z.checkbox("f3", [("o1","1"), ("o2","2")],["1"])))

Интеграция Matplotlib

Интерпретатор Python может автоматически отображать графики matplotlib с помощью встроенного модуля pyplot:

%python
import matplotlib.pyplot as plt
plt.plot([1, 2, 3])

Это рекомендуемый метод использования matplotlib из блокнота Zeppelin. Выходные данные команды по умолчанию преобразовываются в HTML, неявно используя %html. Дополнительные настройки можно выполнить с помощью встроенного метода z.configure_mpl(). Например:

z.configure_mpl(width=400, height=300, fmt='svg')
plt.plot([1, 2, 3])

В данном примере изображение задается в формате SVG 400x300, которое по умолчанию обычно представляется в формате 600x400 и PNG соответственно. В дальнейшем можно будет использовать другую библиотеку, angular, которая позволит обновлять график, созданный одним параграфом, непосредственно из другого (выходные данные в таком случае %angular вместо %html). Функция уже доступна в интерпретаторе pyspark.

Если Zeppelin не может найти файлы matplotlib (которые обычно находятся в $ZEPPELIN_HOME/interpreter/lib/python) в PYTHONPATH, то программа автоматически устанавливается в agg и нижеприведенные инструкции могут использоваться с ограничениями.

Если не удается загрузить встроенные модули, можно использовать z.show(plt):

python %python import matplotlib.pyplot as plt plt.figure() (.. ..) z.show(plt) plt.close()

Данная функция z.show() может принимать дополнительные параметры для адаптации размеров графика (ширина и высота), а также его выходной формат – png или опционально svg (Рис.66.):

%python
z.show(plt, width='50px')
z.show(plt, height='150px', fmt='svg')
../../_images/zeppelin_python_matplotlib.png

Рис. 66. Интеграция Matplotlib

Интеграция с Pandas

Система отображения таблиц Apache Zeppelin предоставляет встроенные возможности визуализации данных. Интерпретатор Python использует его для визуализации датафреймов Pandas, аналогично через API функции z.show() как в случае интеграции с библиотекой matplotlib (Интеграция Matplotlib). Например:

import pandas as pd
rates = pd.read_csv("bank.csv", sep=";")
z.show(rates)

SQL поверх датафреймов Pandas

Существует удобный интерпретатор %python.sql, который по своему использованию похож на Apache Spark в Zeppelin и позволяет использовать язык SQL для запроса к датафреймам Pandas и визуализации результатов через встроенную систему отображения таблиц Table Display System.

Предварительные настройки:

  • Pandas pip install pandas
  • PandaSQL pip install -U pandasql

В случае, если по умолчанию выбран интерпретатор Python (первый в списке интерпретаторов под значком шестеренки), можно его указывать как просто %sql:

  • Первый параграф:

    import pandas as pd
    rates = pd.read_csv("bank.csv", sep=";")
    
  • Следующий параграф:

    %sql
    SELECT * FROM rates WHERE age < 40
    

В противном случае – %python.sql.

Техническое описание

Подробные технические сведения о текущей реализации приведены по ссылке python/README.md.

Некоторые функции, еще не реализованные в интерпретаторе Python:

  • Прерывание выполнения параграфа (способ cancel ()) в настоящее время поддерживается только в системах Linux и MacOs. Если интерпретатор запущен в другой ОС (например, в MS Windows), прерывание параграфа завершает работу всего процесса интерпретатора. JIRA ticket (ZEPPELIN-893) открыт для реализации этой функции в следующей версии интерпретатора;
  • Строка состояния в web-интерфейсе (метод getProgress()) в настоящее время не реализована;
  • Завершение кода в настоящее время не реализовано.