Суперкомпьютерный вендор Cray анонсировал новую версию своей производительной файловой системы Lustre, позволяющей управлять миллионами терабайт данных в распределенной вычислительной системе. В новой версии ФС появилось программное обеспечение Tiered Adaptive Storage (TAS), которое позволяет более эффективно управлять данными на суперкомпьютере. В Cray говорят, что обновленная Lustre представляет данные в более оптимизированном под Большие данные виде, приближая методы хранения под более классические распределенные файловые системы. Одновременно с этим, новая версия файловой системы имеет существенно более высокую скорость пропускания данных. По словам представителей Cray, система Lustre на сегодня является самой популярной файловой системой для суперкомпьтеров и вычислительных кластеров. Данная система без затруднений справляется с перемещениями и анализом данных резмеров в сотни терабайт. Новая версия имеет подсистему ввода/вывода, которая показывает производительность более чем в 1 терабайт/сек. Напомним, что первая версия Lustre была создана в 1999 году в институте Карнеги Меллон и уже тогда нашла свое место в суперкомпьютерах. Технически, Lustre можно использовать и на обычных системах, однако администраторы избегают этого, ввиду сложности работы с Lustre и специфической ориентации ФС. В Cray описывают систему TAS как одно из главных новшеств новой ФС. Разработчик заявляет, что TAS значительно упрощает работу с Lustre на вычислительных кластерах, которые не обладают рекордной производительностью, делая Lustre более удобоваримой для пользователей из среды среднего бизнеса и небольших академических учреждений. При помощи TAS администраторы могут создавать иерархические файловые системы, которые будут гарантировать доступность критических данных в заданный промежуток времени. TAS подключается к Lustre посредством специализированного API. TAS имеет собственный интерфейс и функциональность, схожую с SAM (Storage Access Manager) производства Sun Microsystems. Cray сегодня также анонсировала новую вычислительную систему Sonexion, которая работает на специализированной версии Linux для x86-чипов, а также ФС Lustre
Источник