Распределенная платформа для обработки данных в памяти

Arenadata Grid (ADG) – платформа вычислений в памяти, позволяет значительно ускорить приложения без необходимости замены существующих СУБД. ADG дает возможность гибко масштабировать полученное решение на десятки и сотни вычислительных узлов. Используя оперативную память в качестве основного накопителя, платформа способна выполнять и обрабатывать запросы от 1000 до 1000000 раз быстрее традиционных дисковых СУБД. Вычислительные мощности Arenadata Grid легко масштабируются путем добавления новых узлов в кластер без необходимости остановки работы, позволяя тем самым обрабатывать сотни террабайт данных из множества БД.

Задействовав ADG в качестве промежуточного кэширующего уровня хранения, можно с легкостью модернизировать архитектуру существующих приложений. Платформа способна прозрачно и бесшовно интегрироваться с существующими РСУБД, NoSQL СУБД и Hadoop. ADG реализует единый API, поддерживающий SQL, MapReduce, языки программирования Java, C++, .NET, PHP. Сервер Arenadata Grid вместе с использующими его приложениями может быть с легкостью запущен как в облаке, так и в ЦОД.

Платформа ADG может быть также использована как распределенная транзакционная СУБД с поддержкой SQL запросов, способная хранить данные как в памяти, так и на диске. Это достигается благодаря использованию технологии персистентного хранения в сочетании с возможностями, предоставляемыми встроенным SQL-движком.

1,000x Better Performance Versus Disk-Based Databases

Платформа вычислений в памяти Arenadata Grid позволяет увеличить производительность используемых традиционных СУБД более, чем в 1000 раз, путем сокращения затрат на чтение и запись с дисковых накопителей. Выступая в качестве промежуточного кэширующего уровня хранения, ADG выполняет подкачку данных из РСУБД или NoSQL СУБД в оперативную память. Помимо высокой производительности кэширующего уровня, Arenadata Grid реализует ряд возможностей, таких как потоковая обработка данных, распределенные вычисления, ускорение Spark и Hadoop.

_images/index_1.png

Платформа Arenadata Grid способна масштабировать практически линейно путем добавления новых узлов в существующий кластер. Данные в кластере располагаются оптимально с целью максимально уменьшить миграцию данных при изменении топологии кластера. При этом миграция данных производится полностью автоматически.

Одной из особенностей Arenadata Grid является отсутствие мастер-узла. Нужный узел, хранящий целевую запись, определяется путем расчета значения специальной функции.

ADG реализует распределённый кэш “ключ-значение”, располагающийся между Вашими приложениями и СУБД, позволяя тем самым бесшовно интегрироваться в существующую архитектуру, выполняя сквозное чтение и запись.

Преимущества Arenadata Grid:

  • Распределенный кэш в памяти;
  • Молниеносная скорость вычислений;
  • Гибкая масштабируемость;
  • Распределённые транзакции;
  • Распределённые SQL-запросы;
  • Многоуровневое хранение данных (RAM/Disk) вне кучи (OffHeap).
_images/index_2.png

Store and Process Data In-Memory with ACID Transactions and ANSI-99 SQL Support

Платформа Arenadata Grid поддерживает ANSI-SQL 99, что позволяет с легкостью выполнять запросы над массивом данных, распределенным между сотнями узлов, хранящими данные как в памяти, так и на диске, при необходимости подкачивая их из сторонних источников. Так же есть возможность подключаться к Arenadata Grid из Вашего приложения, используя привычные интерфейсы, такие как ODBC и JDBC. Сервер ADG реализует ACID транзакции на уровне кэша и поддерживает полноценный ANSI-SQL 99, включая DDL и DML. Используя Arenadata Grid, можно с легкостью ускорить транзакционные и аналитические запросы.

_images/index_3.png

В рамках универсальной платформы данных Arenadata EDP сервер ADG может быть интегрирован с массивно-параллельной СУБД Arenadata DB (основанной на open-source проекте Greenplum), что позволяет осуществлять многоуровневую обработку данных, извлекая пользу от высокоскоростной транзакционной обработки в памяти и массивно-параллельной обработки очень большого объема исторических данных. Интеграция выполняется посредством протокола PXF.

Среди основных сценариев использования ADG выделяются следующие:

  • Ускорение обработки аналитических запросов над оперативными данными в массивно-параллельной СУБД;
  • Кэширование оперативных данных в HDFS;
  • Реализация транзакционного кэша данных для систем потоковой передачи и шин данных.
_images/index_4.png

Оригинальная документация на русском языке позволяет облегчить процесс планирования и разворачивания платформы. Инструкция может быть полезна администраторам, программистам, разработчикам и сотрудникам подразделений информационных технологий, осуществляющих внедрение и сопровождение кластеров Arenadata.

Далее в документации приведены инструкции по работе с Arenadata Grid: установка, основные концепции, Durable Memory и хранилище “ключ-значение”, загрузка и стриминг данных.

Important

Контактная информация службы поддержки – e-mail: info@arenadata.io