Логирование в Zeppelin

Константин Алпашкин

В процессе работы Zeppelin Server генерирует текстовые лог-файлы, которые могут быть полезными для анализа причин различных ошибок, возникающих при работе с интерпретаторами, заметками и так далее. Лог-файлы расположены в директории /var/log/zeppelin на хосте, где установлен Zeppelin. Чтобы увидеть логи, выполните следующее:

  1. Присоединитесь к хосту с Zeppelin Server (по SSH либо другим способом) и выполните команду:

    $ ls -la /var/log/zeppelin

    Результат выглядит следующим образом:

    total 1768
drwxr-xr-x.  2 zeppelin zeppelin   4096 Dec  8 10:22 .
drwxr-xr-x. 19 root     root       4096 Dec  8 06:10 ..
-rw-r--r--.  1 root     root        555 Dec  7 06:54 install-interpreter.log
-rw-r--r--.  1 root     root       1665 Dec  6 16:13 install-interpreter.log.2021-12-06
-rw-r--r--.  1 zeppelin zeppelin   2656 Dec  8 10:30 zeppelin-interpreter-jdbc-zeppelin-bds-adh-2.ru-central1.internal.log
-rw-r--r--.  1 zeppelin zeppelin   5918 Dec  6 12:24 zeppelin-interpreter-jdbc-zeppelin-bds-adh-2.ru-central1.internal.log.2021-12-06
-rw-r--r--.  1 zeppelin zeppelin  82200 Dec  7 18:15 zeppelin-interpreter-jdbc-zeppelin-bds-adh-2.ru-central1.internal.log.2021-12-07
-rw-r--r--.  1 zeppelin zeppelin   2376 Dec  7 17:27 zeppelin-interpreter-phoenix2-zeppelin-bds-adh-2.ru-central1.internal.log
-rw-r--r--.  1 zeppelin zeppelin   4638 Dec  8 10:31 zeppelin-interpreter-phoenix-zeppelin-bds-adh-2.ru-central1.internal.log
-rw-r--r--.  1 zeppelin zeppelin 112258 Dec  6 16:11 zeppelin-interpreter-phoenix-zeppelin-bds-adh-2.ru-central1.internal.log.2021-12-06
-rw-r--r--.  1 zeppelin zeppelin  17404 Dec  7 17:27 zeppelin-interpreter-phoenix-zeppelin-bds-adh-2.ru-central1.internal.log.2021-12-07
-rw-r--r--.  1 zeppelin zeppelin   3951 Dec  7 18:15 zeppelin-interpreter-python-zeppelin-bds-adh-2.ru-central1.internal.log
-rw-r--r--.  1 zeppelin zeppelin   4134 Dec  6 16:01 zeppelin-interpreter-sh-zeppelin-bds-adh-2.ru-central1.internal.log
-rw-r--r--.  1 zeppelin zeppelin  61835 Dec  8 12:09 zeppelin-zeppelin-bds-adh-2.ru-central1.internal.log
-rw-r--r--.  1 zeppelin zeppelin 722037 Dec  6 16:30 zeppelin-zeppelin-bds-adh-2.ru-central1.internal.log.2021-12-06
-rw-r--r--.  1 zeppelin zeppelin 662981 Dec  7 18:15 zeppelin-zeppelin-bds-adh-2.ru-central1.internal.log.2021-12-07
-rw-r--r--.  1 zeppelin zeppelin  78400 Dec  8 06:11 zeppelin-zeppelin-bds-adh-2.ru-central1.internal.out
    ПРИМЕЧАНИЕ
    Логи хранятся в локальной файловой системе, а не в HDFS.

  2. Чтобы увидеть содержимое конкретного лог-файла, выполните следующее:

    $ tail /var/log/zeppelin/<log_file_name>.log

    Вывод имеет следующий вид:

     INFO [2021-12-08 10:31:02,382] ({pool-2-thread-4} RemoteInterpreterManagedProcess.java[start]:115) - Thrift server for callback will start. Port: 38183
 INFO [2021-12-08 10:31:02,882] ({pool-2-thread-4} RemoteInterpreterManagedProcess.java[start]:190) - Run interpreter process [/usr/lib/zeppelin/bin/interpreter.sh, -d, /usr/lib/zeppelin/interpreter/jdbc, -c, 10.92.6.9, -p, 38183, -r, :, -l, /usr/lib/zeppelin/local-repo/phoenix, -g, phoenix]
 INFO [2021-12-08 10:31:04,138] ({pool-11-thread-1} RemoteInterpreterManagedProcess.java[callback]:123) - RemoteInterpreterServer Registered: CallbackInfo(host:10.92.6.9, port:34481)
 INFO [2021-12-08 10:31:04,140] ({pool-2-thread-4} RemoteInterpreter.java[call]:168) - Create RemoteInterpreter org.apache.zeppelin.jdbc.JDBCInterpreter
 INFO [2021-12-08 10:31:04,239] ({pool-2-thread-4} RemoteInterpreter.java[call]:142) - Open RemoteInterpreter org.apache.zeppelin.jdbc.JDBCInterpreter
 INFO [2021-12-08 10:31:04,240] ({pool-2-thread-4} RemoteInterpreter.java[pushAngularObjectRegistryToRemote]:436) - Push local angular object registry from ZeppelinServer to remote interpreter group phoenix:shared_process
 INFO [2021-12-08 10:31:04,830] ({pool-2-thread-4} NotebookServer.java[afterStatusChange]:2314) - Job 20211207-082338_940138511 is finished successfully, status: FINISHED
 INFO [2021-12-08 10:31:04,836] ({pool-2-thread-4} VFSNotebookRepo.java[save]:196) - Saving note:2GS5T8MS7
 INFO [2021-12-08 10:31:04,838] ({pool-2-thread-4} SchedulerFactory.java[jobFinished]:120) - Job 20211207-082338_940138511 finished by scheduler org.apache.zeppelin.interpreter.remote.RemoteInterpreter-phoenix:shared_process-shared_session
 INFO [2021-12-08 12:09:00,355] ({qtp837764579-66} NotebookServer.java[onClose]:372) - Closed connection to 10.92.2.6 : 54643. (1001) null

Существует несколько типов лог-файлов, генерируемых Zeppelin. Их описания приведены ниже.

Имя лог-файла Атрибуты Описание

zeppelin-zeppelin-<host_name>.log

<host_name> — имя хоста Zeppelin

Содержит информацию о базовых операциях с соединением, задачами, заметками, такими как открытие, закрытие, сохранение и другие

zeppelin-zeppelin-<host_name>.out

<host_name> — имя хоста Zeppelin

Содержит вывод выполненных операций, например ошибки, возвращаемые в веб-интерфейсе

zeppelin-interpreter-<interpreter_name>-zeppelin-<host_name>.log

  • <host_name> — имя хоста Zeppelin.

  • <interpreter_name> — имя интерпретатора.

Содержит информацию об указанном интерпретаторе

install-interpreter.log

 — 

Содержит данные об установке новых интерпретаторов
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней