Открыты исходные тексты кластерной БД, напоминающей Google BigTable

10/02/2008 11:18

Компания Zvents открыла под лицензией GPLv2 исходные тексты кластерной БД Hypertable, архитектура которой основана на идеях заложенных в Google BigTable, сообщает opennet.ru. Hypertable позволяет создать высоконадежную базу с петабайтами данных, разнесенных на тысячи узлов. Обращение к данным осуществляется посредством языка HQL, чем то напоминающим сильно упрощенный SQL (выборка только по ключам (ключ/значение), структура таблиц определяется в XML, данные не типизированы, максимальный размер одной порции данных 200Мб (может быть изменен)). Hypertable кластер состоит из двух типов серверов: Range-серверы для хранения данных и Master-серверы для управления Range-серверами и позиционирования данных, причем оба типа серверов могут одновременно выполняться на одной физической машине. Для организации хранения данных Hypertable в настоящий момент используется Hadoop, платформа для организации распределенных вычислений с использованием парадигмы map/reduce, когда задача делится на множество более мелких обособленных фрагментов, каждый из которых может быть запущен на отдельном узле кластера. В состав Hadoop входит также реализация распределенной файловой системы Hadoop Distributed Filesystem (HDFS), автоматически обеспечивающей резервирование данных и оптимизированной для работы "MapReduse" приложений. Система создана как субпроект поискового механизма Apache Lucene. Brian Aker, директор по архитектуре в MySQL AB, заметил, что Hypertable API можно без проблем транслировать в SQL и, например, реализовать в виде хранилища для MySQL.
Более подробно