Масштабируемость
Для поддержки возрастающей нагрузки кластер Hadoop легко масштабировать путем добавления серверов или даже стоек с серверами и увеличения объема оперативной памяти в узлах. После подобных изменений сначала значительно возрастает несбалансированность нагрузки, однако увеличение хранилища и вычислительной мощности стоит этих временных явлений. Поскольку масштабируемость серьезно зависит от возможностей узлов NameNode, обратите на них свое внимание в первую очередь.
Воспользуйтесь следующими рекомендациями при масштабировании кластера:
-
Убедитесь, что в непосредственной близости от оборудования кластера есть еще свободное пространство для размещения необходимого количества дополнительных стоек с серверами.
-
Планируйте изменения в сетевой структуре для подключения дополнительных серверов.
-
Рассмотрите возможность добавления дисков и оперативной памяти в существующие серверы, а также установки дополнительных процессоров в свободные разъемы. Это позволит расширить возможности кластера без установки дополнительных серверов и изменений в сетевой структуре.
-
Обновление оборудования в работающем кластере требует значительного времени и трудовых ресурсов. Рекомендуем расширять его путем установки серверов последовательно по одному.
-
В списках процессоров у поставщиков нужные модели не всегда доступны. Если планируете установить второй процессор в сервер, узнайте у продавца, когда понизят цены на требуемую модель и приобретите процессор по более выгодной цене. Снижение цены может произойти в течение 18 месяцев после начала их выпуска.
-
Скорее всего, необходимо также рассмотреть необходимость увеличения оперативной памяти в мастер-серверах.