Конференция Arenadata
ArenaTech 2026 – для всех, кому интересны технологии Big Data
Приглашаем вас принять участие в технической онлайн-конференции, посвященной работе с большими данными. Участие бесплатно для всех желающих.

В программе 3 блока докладов:

  • СУБД: архитектура и эксплуатация. Обсудим новые возможности Greengage DB и Arenadata DB на его основе, включая hot standby, обзор утилиты изменения кластерной топологии ggrebalance, вопросы безопасности и устранения CVE.
  • Платформа данных: безопасность и Kubernetes в ADH, аналитика в ADQM. Расскажем об управлении секретами и доступом в Arenadata Hyperwave с использованием OpenBao, особенности переноса сервисов в Kubernetes, а также про аналитические методы в инструментах ADQM.
  • Инструменты: кластерный менеджер, документация, ИИ-поиск. Поделимся опытом разработки технической документации (включая интеллектуальный поиск и ИИ-ассистент) и поговорим про развитие нашего кластерного менеджера ADCM.
Онлайн-конференция состоится 29 октября 2026 года, время трансляции: с 12:00 до 19:00 по московскому времени.
Осталось до события

frameworkuploader

Команда собирает JAR-файлы фреймворка и загружает их в HDFS в виде архива.

Использование показано ниже:

$ mapred frameworkuploader -target <target> args
Аргументы

-input <classpath>

Входной classpath, по которому выполняется поиск JAR-файлов для включения в архив

-fs <filesystem>

Тип целевой файловой системы. По умолчанию используется тип файловой системы, заданной fs.defaultFS

-target <target>

Целевое расположение для сохранения архива фреймворка, за которым может следовать символ # с локализованным alias. Например, /usr/lib/framework.tar#framework. Чтобы обеспечить безопасность кластера, важно, чтобы целевой каталог был доступен для чтения всем пользователям и закрыт на запись для всех, кроме администраторов

-blacklist <list>

Указывает массив регулярных выражений, разделенных запятыми, для фильтрации имен JAR-файлов, чтобы исключить их из classpath. Например, это можно использовать для исключения тестовых JAR-файлов или Hadoop-сервисов, которые не нужны для локализации

-whitelist <list>

Указывает массив регулярных выражений, разделенных запятыми, для включения определенных JAR-файлов. Это можно использовать для обеспечения дополнительной безопасности, чтобы ни один внешний источник не мог включить вредоносный код в classpath при запуске инструмента

-nosymlink

Позволяет исключать символические ссылки, указывающие на один и тот же каталог. Например, путь /a/foo.jar и символическая ссылка /a/bar.jar, указывающая на /a/foo.jar, обычно добавляют foo.jar и bar.jar в архив как отдельные файлы, несмотря на то, что на самом деле это один и тот же файл. Этот флаг позволяет инструменту исключить /a/bar.jar, поэтому будет добавлена только одна копия файла

-initialReplication <num>

Фактор репликации, который используется для создания архива фреймворка. Допустимо оставить значение по умолчанию 3

-finalReplication <num>

Инструмент загрузки устанавливает фактор репликации после того, как все блоки собраны и загружены. Если требуется быстрый первоначальный запуск, рекомендуется установить это значение равным количеству введенных в эксплуатацию (commissioned) узлов, деленному на два, но менее 512

-acceptableReplication <num>

Инструмент ждет, пока архив не будет реплицирован указанное количество раз, прежде чем выйти. Значение должно быть равно фактору репликации, который меньше или равен значению finalReplication. Оптимальное значение составляет 90% от значения finalReplication для учета отказавших узлов

-timeout <seconds>

Время до достижения acceptableReplication перед тем, как инструмент заканчивает работу (в секундах). В противном случае инструмент логирует ошибку и завершает работу

Пример:

$ mapred frameworkuploader -timeout 10
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней