Sybase для высокопроизводительной аналитики

Источник: Sybase

Sybase IQ - это быстродействующая аналитическая платформа, которая снаружи выглядит, как обычная реляционная СУБД. Она имеет открытые интерфейсы, поддерживает стандарты ODBC и JDBC, а также язык SQL и не требует использования специальной схемы, оптимизированной для аналитики. Sybase IQ работает на стандартных аппаратных средствах и под управлением разнообразных операционных систем. В то же время внутри SAP Sybase IQ устроена иначе, чем обычные СУБД. Это высокопроизводительное хранилище данных с организацией по столбцам, рассчитанное на скоростную загрузку данных, быструю обработку запросов и легкое масштабирование в отношении количества пользователей. Благодаря этому Sybase IQ выполняет запросы в 10100 раз быстрее, чем традиционные СУБД. Эффективные алгоритмы сжатия данных по зволяют экономить до 70% дискового пространства. При этом система масштабируется почти линейно.

Sybase IQ позволяет значительно упростить архитектуру хранилища данных, делая ненужным многочисленные агрегаты, витрины данных, OLAPкубы. Все эти дополнительные конструкции были придуманы с одной лишь целью - до биться нужной скорости работы аналитики. Правда, ценой потери детальности, возможности анализа по всему спектру данных. Способность Sybase IQ очень быстро работать даже на больших объемах данных позволяет обойтись лишь од ной базой - центральным хранилищем данных, и получать аналитику по всему объему детальных данных с временем отклика в несколько секунд.

Начиная с 2009 года, было выпущено 5 новых версий Sybase IQ. Главными нововведениями версии 15.0 стали: новая платформа работы с особо крупными базами данных (VLDB) и модернизированные алгоритмы загрузки данных и обработки за просов, учитывающие особенности новых многоядерных процессорных архитектур и многоярусных систем хранения данных. В версии 15.1 была введена возможность внутрибазовой аналитической обработки - запуск внешних программ на C++ средствами механизма БД. В версии 15.2 были представлены новые функции поиска в текстовых массивах, федерации запросов и поддержки Web 2.0 на уровне программных интерфейсов (API).

Главным новшеством выпуска 15.3 стала кластерная архитектура массовопарал лельной обработки PlexQ. Наконец, в версии 15.4 была введена поддержка нативного API MapReduce, обеспечивающего внутрибазовую аналитическую обработку больших объемов данных. Благодаря это му, а также поддержке языка предсказа тельного моделирования PMML (Predic tive Model Markup Language), интеграции с Hadoop, наличию расширенной библиотеки алгоритмов статистических расчетов и информационной проходки, использующих все возможности технологии PlexQ, разработчики могут быстро и надежно программировать аналитическую обработку внутри базы данных, что дает более чем 10кратный прирост производи тельности по сравнению с обычным способом.

С помощью Sybase IQ можно применительно к крупнейшим массивам данных решать такие задачи, как выявление тенденций, поиск первопричин событий, определение паттернов и моделирование по принципу "что, если", совместно обрабатывать структурированные и неструктурированные данные, получать более глубокую и точную картину эффективности деятельности компании и динамики рынка, а также строить прогнозы, полностью высвобождая потенциал больших инфор мационных массивов.

Для организации хранилищ данных может использоваться и другой продукт SAP - программноаппаратная платформа HANA (HighPerformance Analytic Appliance), где также применена технология поколоночного хранения. Совместное использование Sybase IQ и HANA позволяет решать специфические аналитические задачи, где необходимы высокие скорости обработки больших объемов данных. При этом Sybase IQ может исполнять роль кор поративного хранилища, а HANA - высо копроизводительного аналитического кэша. Например, исторические данные могут находиться в дисковом хранилище под управлением Sybase IQ, а наиболее активно используемую их часть можно поместить в оперативную память HANA. Прочие данные по мере необходимости будут извлекаться из Sybase IQ с помощью интерфейса NearLine Storage. Такой интерфейс имеется, в частности, в SAP BW.


Страница сайта http://test.interface.ru
Оригинал находится по адресу http://test.interface.ru/home.asp?artId=29738