Если верить ученым мужам, то скоро отпадет необходимость искать свободное пространство на дисковом массиве сети хранения данных (Storage Area Network - SAN), создавать разделы RAID и "нарезать" из них логические устройства. Вместо этого администратору систем хранения данных достаточно просто "попросить" свое средство виртуализации создать, например, логическое устройство объемом 3 Тбайт и выделить его серверу Oracle Server 43. Возможно, когда-нибудь так и будет, но пока рекламная шумиха вокруг виртуализации блочных устройств памяти отвлекает внимание специалистов от еще не очень заметной, но заслуживающей внимания тенденции, которая может очень сильно повлиять на работу администраторов и пользователей сетей. Речь идет о виртуализации средств хранения файлов.
Вдумайтесь в следующий факт: на предприятиях все пользователи компьютеров ежедневно имеют дело с файловыми сервисами, предоставляемыми либо файловыми серверами общего назначения, либо специализированными устройствами NAS. Однако на управление файловыми сервисами, технологии которых существуют уже довольно давно, уходя своими корнями в ранний период создания компьютерных сетей, в средних и крупных организациях все еще требуется уйма времени. Это происходит из-за того, что в большинстве компаний каждой рабочей группе выделяется свой собственный сервер NetWare или Windows. В результате системным администраторам приходится иметь дело с десятками или даже сотнями рассредоточенных по всему предприятию серверов. Обновление ПО и выполнение других административных функций, связанных с управлением этой массы небольших файловых серверов и устройств NAS, может стать сущим кошмаром для ИТ-специалистов.
Устройства NAS спешат на помощь
Если на вашем предприятии сложилась подобная ситуация, подумайте о реализации консолидационного проекта, обеспечивающего замену небольших серверов подразделений более управляемой группой устройств NAS с дисковой памятью большей емкости. Потратьте выходные на копирование данных с пяти или десяти старых серверов NetWare или Windows на новое NAS-устройство компании Network Appliance (NetApp). Отредактируйте сценарии входа в сеть для всех пользователей таким образом, чтобы их буквенные указатели, например H: и K:, обеспечивали доступ к их данным, скопированным на новое устройство. Придя на работу в понедельник утром, пользователи увидят на экранах своих ПК ту же самую файловую структуру, с которой работали в конце прошлой недели.
Если после выполнения проекта консолидации серверов в вашей сети еще остались требующие администрирования отдельные системы хранения данных, не огорчайтесь: даже в консолидированных средах файлы неизбежно оказываются распределенными по разным устройствам памяти из-за ограничений, присущих файловым системам. Так, многие устройства NAS используют файловые системы Unix или Linux (в том числе ext3), в которых максимальный объем тома не может превышать 2-32 Тбайт. Если сегодня указанные ограничения на объемы томов еще не беспокоят вас, то со временем они обязательно начнут мешать развитию вашей среды хранения данных, поскольку с распространением мультимедийных технологий размеры файлов существенно увеличиваются. И еще. Несколько продвинутых пользователей из отдела закупок вашей компании вполне могут создать группу взаимосвязанных таблиц Excel, отражающих ее "маневрирование" в области хеджирования, использовав для ссылок имена UNC, поскольку разные пользователи задействовали разные буквенные указатели на сетевые диски. При замене старых серверов с именами sleepy, dopey и grumpy новым сервером HQfiler01 ссылка типа \\grumpy\purchasing\trades.xls перестанет работать.
Что же в таком случае делать? Использовать определенный уровень виртуализации. Это даст возможность вашим пользователям осуществлять доступ к файловым ресурсам, ничего не зная о физическом размещении последних. В идеале желательно создать согласованное пространство имен для разделяемых файлов и монтируемых каталогов NFS. Кроме того, применение уровня виртуализации позволит сохранить имена старых серверов и разделяемых ресурсов, поэтому все встроенные ссылки будут работать. К другим преимуществам виртуализации относятся:
• Возможность решить проблему управления ресурсами памяти. В результате вам не нужно будет беспокоиться о том, что дисковое пространство одной файловой системы окажется исчерпано, тогда как другая файловая система будет почти пустой. Средства виртуализации перемещают данные из одной файловой системы в другую, используя правила системной политики и обновляя глобальное пространство имен.
• Перемещение файлов с дорогих и высокопроизводительных дисков на более дешевые носители информации на основе метаданных с помощью большинства средств виртуализации.
• И наконец, повышение производительности сети за счет более равномерного распределения данных по многочисленным серверам посредством системы кластеризации и виртуализации. Кластеризация устройств NAS с использованием единой виртуальной файловой системы, хранящейся на высокопроизводительном дисковом массиве или распределенной по многим устройствам хранения, позволяет исключить необходимость многократного перемещения данных и еще больше увеличить скорость доступа к ним.
Асимметричный подход
Наше первое знакомство с виртуализацией устройств NAS произошло на выставке Interop несколько лет назад. На стенде компании Z-Force (сейчас она называется Attune Systems) мы увидели около дюжины NAS-устройств Snap Server начального уровня, подключенных через коммутатор файлов Z-Force к группе рабочих станций с запущенным ПО определения производительности IOMeter. Это решение работало значительно быстрее корпоративных NAS-систем того времени. Коммутатор файлов Z-Force записывал файлы на устройства NAS (подобно тому как RAID-контроллер распределяет данные по дискам массива), создавая избыточный массив недорогих узлов хранения, представлявших собой устройства NAS.
Это было потрясающее зрелище: описанная система хранения данных общей емкостью 47 Тбайт передавала файлы со скоростью более 1 Гбайт/с! Однако, подразнив специалистов перспективными решениями для информационных хранилищ будущего, компания Z-Force сменила название на Attune и перестала быть сколько-нибудь заметной на рынке.
К счастью, образовавшуюся пустоту заполнили несколько других производителей, предлагающих разнообразные системы виртуализации и кластеризации. К ним относятся средст-ва асимметричной (out-of-band) виртуализации подразделения Rainfinity компании EMC и фирмы NuView, устройства симметричной (in-band) виртуализации компаний Acopia Networks и NeoPath Networks, решение по кластеризации серверов фирмы PolyServe и полностью кластерные NAS-системы компаний Isilon Systems и Panasas.
Признавая наличие потребности у заказчиков в согласованном глобальном пространстве имен, компания Microsoft в конце 90-х годов прошлого века разработала распределенную файловую систему (Distributed File System - DFS), поддержка которой являлась дополнением к ОС Windows NT 4. Система DFS так и не получила широкого распространения, поскольку не предоставляет функций переноса данных, имеет неудачно спроектированный пользовательский интерфейс и, что более важно, до недавнего времени не позволяла задействовать псевдонимы вместо имен имеющихся серверов. В средах Linux для создания подобного пространства имен можно использовать службу NIS и средства автоматического монтирования томов, но они не реализуют удобного способа управления этим пространством. Включаемые в состав ОС Windows (начиная с версии Windows 2000) клиентские программы DFS обеспечивают переадресацию запросов на уровне вложенных папок (или каталогов), а файловая система NFS (Network File System) компании Sun делает это на уровне подмонтированных томов.
Программное обеспечение StorageX компании NuView (недавно куплена фирмой Brocade) стало первым продуктом, снявшим многие ограничения, характерные для системы DFS. Его последняя версия предоставляет дружественный пользователю интерфейс с функциями перемещения данных и управления ими на основе правил системной политики. Механизм перемещения данных в продукте StorageX позволяет управлять серверными данными в рамках файловых систем NFS или CIFS и в масштабе всей сети, поэтому ИТ-специалисты мо-гут администрировать как серверы Windows и Unix с соответствующим агентским ПО, так и устройства NAS начального уровня.
Средства StorageX помогают ИТ-специалистам определять правила системной политики в плане дублирования информации для ее восстановления в случае какой-либо аварии или катастрофы, выравнивания емкости серверов и перемещения устаревших данных на другой уровень устройств памяти. Так как для переадресации клиентских запросов продукт StorageX использует систему DFS, то минимальной управляемой структурой данных является папка. Перемещая информацию, ПО StorageX копирует файлы из папки-источника в целевую папку до тех пор, пока содержимое обеих папок не окажется синхронизированным и ни один из пользователей не перестанет обновлять файлы в папке-источнике. Затем это ПО модифицирует указатели DFS, что дает возможность пользователям осуществлять доступ к своей информации. С целью еще большего упрощения перемещения содержимого файловых серверов компания NuView выпустила продукт UNC Update, который ищет UNC-ссылки в файлах наиболее широко распространенных типов и обновляет их таким образом, чтобы они указывали на новое расположение данных.
Решение StorageX беспроблемно интегрируется с программной средой NAS-серверов компании NetApp, автоматизируя использование ее ПО репликации SnapMirror. Продукт StorageX работает с указанной средой настолько хорошо, что компания NetApp заключила ОЕМ-соглашение с NuView и стала продавать этот продукт как свой файловый менеджер Virtual File Manager.
Применение ПО StorageX позволяет организациям виртуализировать хранение данных, используя имеющееся оборудование, ценой минимальных затрат - 2 тыс. долл. за один управляемый сервер. Положенный в основу работы этого ПО полностью асимметричный подход к виртуализации данных не несет в себе риска снижения производительности сети, но, увы, не гарантирует надежного перемещения файлов, если пользователи работают с ними.
Подразделение Rainfinity компании EMC усовершенствовало асимметричную виртуализацию, реализовав устройство Linux, которое для создания глобального пространства имен задействует файловую систему DFS и обеспечивает прозрач-ное перемещение данных, де-лая ненужной осуществляемую при использовании продукта StorageX приостановку работы приложений или пользовате-лей с файлами. Специалисты Rainfinity добились этого, применив управляемый коммутатор Ethernet, к которому подключили файловые серверы, и свое устройство, работающее на пути передачи данных.
Запросы на данные, кроме тех, что находятся в перемещаемом каталоге, передаются хранящим их серверам, запросы же на информацию из перемещаемого каталога направляются на сервер-получатель после копирования на него нужного файла. Таким образом, после начала миграции данных все операции записи осуществляются на сервере-получателе, а пространство имен обновляется. Псевдонимы серверов и корневые каталоги консолидации данных также поддерживаются в симметричном режиме.
Устройство Rainfinity собирает информацию о работе серверов Linux и Windows с помощью средств SNMP и WMI/Perfmon соответственно, поэтому оно может перемещать данные для выравнивания нагрузки на серверы, а также перераспределять ресурсы памяти и оптимизировать хранение информации на разных уровнях иерархии средств хранения. Кроме того, это устройство может синхронно реплицировать информацию между пулами устройств памяти, чтобы можно было восстанавливать ее после аварий или катастроф. Однако столь высокий уровень виртуализации обходится отнюдь не дешево - устройство Rainfinity стоит 80 тыс. долл. или более.
Возможности средств асимметричной виртуализации имеют ряд ограничений, связанных с конструкцией пространства имен. Помимо этого, при перемещении данных с одного файлового сервера на другой эти средства должны использовать функции копирования файлов или репликации моментальных снимков, что создает дополнительную задержку.
Средства симметричной виртуализации
Устройство File Director компании NeoPath реализовано на основе серийно выпускаемого сервера (высотой 2U) фирмы Dell, оснащенного шестью портами Gigabit Ethernet (стоимость пары таких обеспечивающих резервирование устройств составляет около 70 тыс. долл.). В сети данный продукт устанавливается между клиентскими системами и файловыми серверами или устройствами NAS. Находясь на пути передачи данных, большую часть времени он функционирует лишь в качестве репозитария глобального пространства имен и маршрутизатора файловых запросов. Перенос данных осуществляется в соответствии с правилами системной политики, которые могут определяться на основе метаданных файловой системы (например, информации о дате последнего обращения к файлу) или данных, собираемых самим устройством File Director в реальном масштабе времени.
Если продукт File Director концептуально является маршрутизатором файловых запросов, то продукт ARX Adaptive Resource Switch фирмы Acopia - это сервер-посредник, выполняющий асинхронную репликацию данных и транслирующий клиентским машинам фактические имена и IP-адреса серверов. В семейство продуктов ARX входят три модели, продаваемые по ценам от 24 тыс. долл. (модель ARX500 с четырьмя портами Gigabit Ethernet) до 175 тыс. (шестислотовая модель ARX 6000, выполняющая, по словам аналитиков, более 500 тыс. NFS-операций в секунду).
Устройство ARX перераспределяет емкость систем хранения и переносит данные с одного сервера на другой, что требуется при списании старого сервера или для оптимизации хранения информации в многоуровневых системах. Кроме того, устройство ARX может выравнивать нагрузку на файловые серверы по циклическому алгоритму (round-robin), а также на основе измерения времени реакции на запрос.
Хотя рассмотренные средства симметричной виртуализации являются "прямыми потомками" коммутатора компании Z-Force, сегодня только специально предназначенные для работы в составе кластера системы NAS способны сохранять фрагменты файлов. Работая на пути передачи данных, устройство виртуализации собирает информацию о файлах в дополнение к метаданным, хранящимся в каталоге файловой системы.
Недостатком метода симметричной виртуализации, конечно же, является то, что в случае отказа соответствующего устройства пользователи теряют доступ к данным. Предусмотрительные ИТ-менеджеры инсталлируют отказоустойчивые кла-стеры устройств виртуализации. Перенимайте их опыт.
Кластеризация устройств хранения данных
Виртуализация памяти позволяет решить многие проблемы управления средними и крупными сетевыми средами с файловыми сервисами, но если для вас важнее всего высокая производительность систем хранения данных, то, помимо виртуализации, вам следует реализовать кластер файловых серверов.
Программное обеспечение кластеризации Matrix Server компании PolyServe позволяет ИТ-специалистам создавать кластеры из имеющихся серверов Windows или Linux и устройств памяти сетей SAN, реализованных на базе технологии iSCSI или Fibre Channel (FC). Используя интерфейсы Windows IFS (Installable File System) или Linux VFS (Virtual File System), продукт PolyServe дает возможность многочисленным серверам осуществлять доступ к одним и тем же логическим устройствам в сети SAN.
В среде Windows система DFS "воспринимает" всех членов кластера в качестве независимых серверов с идентичными копиями данных и равномерно распределяет нагрузку между ними по циклическому алгоритму. Пользователи серверов Linux могут добиться такого же эффекта с помощью сервиса DNS. Если один из серверов кластера выходит из строя, клиенты переключаются на другой.
Подход, реализованный компанией PolyServe, имеет два основных достоинства: наиболее очевидное из них - отсутствие необходимости приобретать новое оборудование, поскольку нужно лишь модернизировать серверное ПО, заплатив за новые программы 7 тыс. долл. в расчете на один серверный процессор; менее очевидным является поддержка кластерами PolyServe серверов базы данных. Недостаток же указанного подхода - то, что каждый узел кластера по-прежнему управляется как отдельный сервер. К тому же вы вполне можете приобрести и более дешевое решение. Предположим, вам нужно задействовать четыре двухпроцессорных сервера, работающие с данными объемом 6 Тбайт. Программное обеспечение PolyServe для такой конфигурации кластера обойдется вам в 54 тыс. долл., к этому следует добавить еще стоимость самих серверов и систем хранения данных сети SAN. В качестве альтернативного варианта целесообразно приобрести кластер компании Isilon, который работает быстрее кластера PolyServe, управляется как единое целое и стоит около 90 тыс. долл.
Подобно ПО PolyServe, NAS-шлюзы Bobcat компании OnStor позволяют ИТ-специалистам формировать предоставляющие файловый сервис кластеры на основе имеющейся FC-сети SAN. Обычно объединяемые в 2-, 3-, 4-узловые кластеры устройства Bobcat стоимостью 25 тыс. - 60 тыс. долл. хорошо подходят для консолидации серверов, поскольку позволяют создавать многочисленные виртуальные серверы и назначать каждому из них основное и резервное физические устройства Bobcat. Эти устройства поддерживают файловые системы объемом до 100 Тбайт и при необходимости выделяют ресурсы памяти из общего пула (в рамках сети SAN), доступного всем головным устройствам NAS.
Потрясающая скорость
Если вы "помешаны" на высоких скоростях, имеете дело с очень большими файлами или в вашей сети множество пользователей обращаются к одним и тем же файлам одновременно, задействуйте систему, специально спроектированную для очень быстрого файлового доступа. Вместо размещения файлов на многочисленных устройствах NAS или использования обычных систем хранения данных в сети SAN продукты IQ Intelligent Clustered Storage System компании Isilon и ActiveScale Storage Cluster фирмы Panasas распределяют данные по многочисленным кластерным узлам, дробя файлы на небольшие блоки, подобно тому как RAID-контроллеры записывают данные на многочисленные диски массива.
Этот подход обеспечивает сногсшибательную производительность, особенно при использовании больших кластеров, поскольку каждый подключаемый к кластеру узел увеличивает пропускную способность сетевых соединений, ресурсы памяти и скорость обмена данными с дисками. Кроме того, в рассматриваемом подходе предусмотрено использование вычислительной мощности каждого узла для выполнения ряда системных функций, включая восстановление (rebuild) отказавшего диска. По словам представителей названных компаний, время восстановления диска объемом 500 Гбайт сокращается до 90 мин.
Кластеры компании Panasas создаются из монтируемых в стойку шасси высотой 4U. Каждое шасси вмещает 11 модулей, среди которых могут быть содержащие по два диска SATA модули хранения данных и управляющие модули (director blades), которые поддерживают протоколы CIFS и NFS. Модули взаимодействуют друг с другом и с пользовательскими системами посредством 16-портового модуля коммутатора Gigabit Ethernet, устанавливаемого в каждое шасси. С целью увеличения скорости доступа высокопроизводительных приложений Linux к данным компания Panasas предоставляет программу DirectFlow (Linux-драйвер VFS), запрашивающую метаданные у управляющих модулей и напрямую (чтобы исключить "болтовню" файловой системы NFS) обращающуюся к модулям хранения данных. Файловая система MPFSi (MultiPath File System for iSCSI) фирмы EMC использует аналогичный подход для отправки информации клиентам по протоколу iSCSI. Типичная стоимость кластеров компании Panasas составляет около 15 тыс. долл. в расчете на 1 Гбайт емкости. Cистемы IQ фирмы Isilon используют одну из четырех моделей модулей хранения данных, оснащенных процессором Xeon, 4-Гбайт кэш-памятью и дисковой памятью емкостью от 2 до 6 Тбайт. Взаимодействие модулей осуществляется посредством 10-Гбит/с канала Infiniband с малой задержкой передачи сигналов. Кроме того, каждый модуль имеет два порта Gigabit Ethernet, предназначенные для пользовательского доступа. Данные распределяются по узлам кластера, при этом используется N полос данных и до четырех полос с кодами контроля четности, тем самым реализуется высокий уровень избыточности. Операционная система устройства IQ поддерживает хранение информации на разных уровнях иерархии памяти, позволяя ИТ-специалистам определять правила системной политики, обеспечивающие хранение важных данных на надежном уровне со схемой резервирования N+3, а архивных данных - на более дешевом уровне с меньшим уровнем избыточности - N+1. Кластер, состоящий из трех 2-Тбайт устройств IQ 1920, стоит 70 тыс. долл.
Что нас ждет завтра?
Сейчас нельзя с полной определенностью сказать, останутся ли средства кластеризации устройств NAS уникальной категорией продуктов или соответствующие функции производители будут встраивать в свои корпоративные NAS-системы. Мы считаем, что переломный момент в этой области наступит тогда, когда за дело возьмутся крупные производители - например, когда компания NetApp интегрирует в свою ОС OnTap технологию кластеризации NAS, приобретенную ею в 2003 г. вместе с фирмой Spinnaker Networks. Используя эту технологию, можно создать состоящий из 512 узлов кластер с глобальной системой имен, а затем на основе этого кластера организовать множество виртуальных файловых систем (ВФС), каждая из которых будет управляться одним кластерным узлом, причем глобальная система имен скроет физическое размещение всех ВФС от пользователей.
ВФС можно перемещать с одного кластерного узла на другой без остановки работы кластера. Хотя этот подход не полностью обеспечивает характерные для настоящего кластера производительность и гибкость, он может хорошо послужить большинству пользователей и стать мощным средством давления на других производителей корпоративных устройств NAS, включая компанию EMC. Так что в ближайшее время ожидайте новостей..