Компания VMware представила бета-версию VMware vSphere Big Data Extensions, поддерживающую Apache Hadoop и обеспечивающую работу с большими массивами данных. Используя новые возможности VMware vSphere, предприятия могут развертывать, запускать и управлять кластерами Apache Hadoop наряду с другими ключевыми приложениями в общей виртуальной инфраструктуре. Общедоступную бета-версию VMware vSphere Big Data Extensions для VMware vSphere 5.1 уже можно загрузить в Интернете.
"Постоянно совершенствуемая платформа VMware vSphere теперь поддерживает критические для бизнеса приложения и обеспечивает работу с большими массивами данных, чего давно ждали наши пользователи, - прокомментировал Фаусто Ибарра (Fausto Ibarra), руководитель подразделения по управлению продуктами компании VMware. - Apache Hadoop сейчас становится стандартом в области обработки данных большого объема на предприятиях. С помощью VMware vSphere Big Data Extensions компании смогут запускать в общей инфраструктуре все необходимые им приложения, в том числе и Apache Hadoop, пользуясь преимуществами быстрой адаптации, гибкости и отказоустойчивости, которые дает работа в виртуальных и облачных средах".
В настоящее время все больше предприятий переходят на Apache Hadoop, поскольку хотят иметь более полное представление о текущей ситуации в бизнесе и принимать взвешенные решения в современных условиях, когда объемы обрабатываемых данных постоянно растут. Запустив Apache Hadoop на платформе VMware vSphere, предприятия получат возможность осуществлять гибкое масштабирование системы и эффективнее использовать аппаратное обеспечение. Кроме того, компании смогут добиться более высокого уровня безопасности благодаря изоляции виртуальных машин и повысить надежность за счет компонентов vSphere Fault Tolerance и vSphere High Availability. Использование Apache Hadoop в виртуальной среде позволит избежать затрат, связанных с созданием отдельных физических кластеров и управлением ими, а также получить преимущества от объединения вычислительных ресурсов и ресурсов для хранения на общей виртуальной платформе.
Версия VMware vSphere Big Data Extensions основана на наработках Project Serengeti - open source проекта, запущенного компанией VMware в июне 2012 г., целью которого является предоставление предприятиям возможности быстрого развертывания кластеров Apache Hadoop в виртуальной инфраструктуре. Растущая популярность Project Serengeti способствовала тому, что компания VMware выпустила коммерческую версию этой технологии - VMware vSphere Big Data Extensions, гибкое масштабирование и интуитивный интерфейс которой позволяют администраторам разворачивать кластеры Hadoop и управлять ими на VMware vSphere. Параллельно с выходом VMware vSphere Big Data Extensions компания VMware представила новую версию Project Serengeti, еще раз подтвердив таким образом свое содействие сообществу разработчиков и пользователей ПО с открытым исходным кодом. В данную версию включена поддержка Apache Hadoop YARN - нового поколения MapReduce. Кроме того, в Project Serengeti усовершенствованы процедуры настройки ресурсов виртуальных машин и восстановления после отказа диска. Дистрибутив Hadoop Pivotal HD стал первым дистрибутивом на базе YARN, который поддерживается в Project Serengeti. Кроме того, в новой версии расширена поддержка популярных дистрибутивов Apache Hadoop 1.2: Cloudera Distribution Including Apache Hadoop (CDH) 4.2, CDH 3, Greenplum HD 1.2, MapR Distribution for Hadoop 2.1.3 и Hortonworks Data Platform (HDP) 1.3. В прошлом году в новых версиях инструментов Project Serengeti появилось больше возможностей для работы с системой Apache Hadoop.
"В прошлом году мы перенесли наши Hadoop-операции с AWS в собственное частное облако, - говорит Саша Киперварг (Sasha Kipervarg), директор компании Identified по работе с SaaS-приложениями. - Так как мы занимались разработкой собственных схем работы с Hadoop, то смогли быстро развернуть кластеры Hadoop и разъединить их с помощью VMware vSphere и Project Serengeti. Встроенные средства автоматизации позволили нам применить свой опыт работы с Hadoop и использовать незадействованные ресурсы".
Для того чтобы способствовать распространению Apache Hadoop, компания VMware также объявила о сертификации Pivotal HD для VMware vSphere. В рамках программы VMware Ready Pivotal и VMware провели детализированную процедуру верификации, позволившую клиентам легко развернуть и запустить Pivotal HD на платформе VMware vSphere. Pivotal HD - первый коммерческий дистрибутив, в состав которого входят расширения Hadoop Virtual Extensions, недавно разработанные VMware для сообщества пользователей Apache Hadoop и предоставляющие кластерам Hadoop информацию о топологии при развертываниях в виртуальной инфраструктуре.
"Компания Pivotal рада сотрудничать с VMware, чтобы вывести на новый уровень понятие platform-as-a-service ("платформа как услуга") и обеспечить беспрецедентную скорость анализа, создания, развертывания и масштабирования кластеров, - сообщил Джош Клар (Josh Klahr), вице-президент Pivotal по управлению продуктами. - Pivotal HD объединяет Hadoop с базой данных Pivotal Greenplum Database, технологией кэширования в памяти GemFire и технологией HAWQ (Hadoop With Query), что позволяет сократить время, затрачиваемое на обработку запросов, до нескольких часов, а иногда даже минут. Ранее это занимало несколько дней, а в некоторых случаях - более недели. Используя vSphere, пользователи смогут развертывать, запускать кластеры Apache Hadoop и управлять ими наряду с другими ключевыми приложениями в общей виртуальной инфраструктуре с высокой скоростью, которую обеспечивает Pivotal".
Выход полной версии VMware vSphere Big Data Extensions ожидается в конце 2013 года.