OLAP: как разобрать информационную свалку

Оперативный доступ к информации и ее эффективный анализ - то, чего до сих пор не хватает многим предприятиям для успешного развития бизнеса. В одном случае накопленные массивы данных представляют собой просто набор отчетов, лишенных единой структуры, в другом - пользователи просто не имеют постоянного и быстрого доступа к необходимым базам, в третьем - даже имея на руках все требующиеся данные, сотрудники предприятия не в состоянии сделать из них соответствующие выводы. Во всех перечисленных ситуациях эффективность бизнеса заметно снижается. Многие эксперты придерживаются мнения, что в такой ситуации следует любым способом налаживать процесс работы с информацией. Как вариант - внедряя OLAP-продукты.

Бизнес накопил огромные объемы информации, но без умения эффективно использовать ее при принятии решений она становится бесполезной. Исторически анализ начинался с построения отчетности в учетных системах, однако попытки развития отчетности транзакционной системы в полноценный инструмент аналитика показала ограниченность данного подхода. Выявились следующие проблемы: в учетной системе могут храниться данные только последнего периода; структура информации нацелена на оперативное внесение данных и не эффективна при группировке по аналитическим признакам; нужная информация может быть "рассеяна" по базам разных учетных систем и т.п.

Требовался совершенно новый подход, который и был предложен в 1993 году основоположником реляционных баз данных Эдгаром Коддом. Сформулированные им 12 правил определили сущность технологии OLAP (On-Line Analytical Processing). Впоследствии правила были переработаны в принцип FASMI (Fast Analysis of Shared Multidimensional Information).

Центральным пунктом в этом списке является многомерное представление данных. При таком подходе информация классифицируется по заданному набору признаков, образующему измерения многомерного пространства данных. Это позволяет пользователю видеть интересующую его информацию в наиболее интуитивно понятном виде - в виде таблицы, по осям которой развернуты нужные сочетания аналитик, а внутри находятся сгруппированные нужным образом данные.

В настоящее время технология OLAP получила широкое признание. Линейки OLAP-продуктов представляют практически все основные производители программного обеспечения для баз данных. Несмотря на впечатляющие возможности технологии многомерных БД, ряд распространенных заблуждений часто мешает успешному внедрению OLAP-продуктов.

Мифы об OLAP

Многие пользователи под online-анализом ошибочно понимают наличие и применение наиболее актуальных данных. В действительности под термином "online"-анализ подразумевается быстрая реакция системы на формируемую пользователем последовательность уточняющих запросов. Анализ как бы следует за мыслью аналитика. Например, региональный менеджер может рассуждать следующим образом: "Чем вызван спад продаж по региону в прошлом месяце ? - Это связано с определенным магазином ? - Как в этом магазине распределялись продажи по дням? - Почему такой низкий уровень продаж в первой половине месяца? - Хорошо ли продавались товары группы "A"? - Были ли эти товары на складе?" И после этого он принимает решение, например, о повышении страхового запаса товаров группы "А" на складе.

При этом далеко не обязательно, что в аналитической базе присутствуют данные до последней транзакции. Достаточно распространенной является практика, когда данные в аналитической базе обновляются раз в сутки и содержат информацию "на начало дня". Во многих случаях, как, например, в приведенном выше, это не влияет на достоверность анализа.

Еще одно заблуждение, распространенное среди начинающих пользователей OLAP, заключается в восприятии этих систем просто как средства отображения тех же данных, что есть в учетной системе, в многомерном виде. Этим заблуждением часто пользуются некоторые производители программных продуктов, предлагающие пользователям псевдо-OLAP-функциональность, например, имитацию куба с помощью запросов к традиционной базе. В действительности же эти решения крайне зависимы от объема хранимых данных, что вступает в противоречие с одним из основных правил Э. Кодда, требующего, чтобы производительность формирования отчетов существенно не падала с увеличением размеров базы данных. В OLAP-продуктах это достигается хранением предварительно вычисленных агрегированных значений. Например, в отличие от традиционных баз учетных систем, где хранится список продаж товаров, в OLAP-базе дополнительно могут храниться итоги продаж в разрезе товаров, категорий товаров, клиентов и т.п.

Другим важным моментом является то, что часто предприятия составляют объемные отчеты с высокой степенью детализации. Такие отчеты пользователи зачастую могут более эффективно строить без применения многомерных структур, т.к. время отклика многомерных систем обычно линейно зависит от количества возвращаемых ячеек. OLAP эффективна на запросах, возвращающих итоговые данные, получение которых традиционными методами требует большого объема вычислений.

Многие пользователи также ошибочно полагают, что для получения желаемого результата достаточно просто подключить OLAP к учетной системе. Другая формулировка того же заблуждения: "OLAP консолидирует данные разных учетных систем". Многомерная база действительно обычно содержит консолидированные из разных учетных систем данные. Однако, несмотря на то, что OLAP-продукты обычно имеют возможности подключения к различным учетным системам, в большинстве случаев задача консолидации решается на уровне хранилища данных. В процессе пополнения хранилища данными из учетных систем решаются и такие задачи, как очистка данных, отображение данных учетных систем в единое справочное пространство предприятия и т.п.

Попытка "сэкономить" на создании хранилища при внедрении OLAP часто приводит к специфическим проблемам. Способ построения OLAP непосредственно на таблицах учетной системы приводит к усложнению процесса проектирования многомерной базы, характеризуется увеличением нагрузки на базу учетной системы и почти не применим при наличии нескольких учетных систем.

Тенденции развития OLAP

Рост популярности OLAP приводит к дальнейшему расширению сферы ее применения. Если ранее OLAP позиционировалась в основном как инструмент решения стратегических вопросов и была предназначена скорее для менеджеров высшего звена, то сейчас OLAP-технологии все чаще применяются рядовыми пользователями для решения повседневных задач предприятия. Другими словами, OLAP становится обычным рабочим инструментом менеджеров всех уровней предприятия.

Попытка "сэкономить" на создании хранилища при внедрении OLAP часто приводит к специфическим проблемам

Проблема разнородности и несогласованности данных в разных учетных базах является серьезной проблемой многих организаций. При этом пользователь часто не может не только проанализировать данные, разбросанные по разным источникам, но и даже получить их, поскольку структура оперативных баз часто далеко не прозрачна. Наиболее перспективным направлением в решении данной проблемы стала концепция создания единой информационной модели предприятия. Эта модель предоставляет доступ к информации предприятия, структурированной и представленной в понятных терминах бизнеса. При этом пользователю нет необходимости знать принципы организации первичных данных.

Возможности технологии OLAP по быстрому расчету сложных величин позволили перейти к технологии визуального отображения для пользователя наиболее важных бизнес-показателей, называемых ключевыми показателями эффективности KPI (Key Performance Indicator). Благодаря KPI можно оперативно оценивать, в каких аспектах работа компании соответствует стратегическим целям, а что вызывает тревогу и нуждается в дополнительном внимании. Также KPI отображает тенденции изменения показателей эффективности.

Спектр решаемых при помощи OLAP-задач постоянно расширяется, и многим кажется недостаточным наличие данных "на начало дня". Это определяет высокий интерес к разработкам, уменьшающим запаздывание информации. В настоящее время используется ряд методик, повышающих актуальность данных, например, загрузка только изменений (incremental processing), построение OLAP-кубов непосредственно на таблицах оперативной базы (ROLAP), сегментирование данных.

Быстрое время реакции OLAP-систем на запросы является одним из важнейших преимуществ данной технологии, однако современные пользователи, привыкшие за секунду находить в поисковиках ответы на любые вопросы, часто не понимают, почему здесь они должны ждать дольше. Сейчас в качестве приемлемого времени реакции OLAP все чаще называют 1 секунду, и многие производители OLAP продуктов принимают этот вызов.

В настоящий момент технология OLAP занимает уверенное место в современном бизнесе. Еe применение позволяет оперативно реагировать на изменяющиеся условия, принимать правильные решения и эффективно использовать время сотрудников.

Вадим Ляхин: тенденции связаны со стремлением предоставить всё большую функциональность конечному пользователю аналитической системы

 Специалист отдела разработки ПО компании "Инталев" Вадим Ляхин

CNews: Какие тенденции в развитии СУБД в области анализа данных вы отмечаете сегодня?

Вадим Ляхин: Думаю, можно выделить два рода тенденций - количественные и качественные. К количественным я бы отнес стремление разработчиков уменьшить до минимума время отклика системы и вместе с тем повысить оперативность с которой в аналитическую систему попадают данные.

Качественные тенденции связаны с стремлением предоставить всё большую функциональность и гибкость конечному пользователю аналитической системы. К проявлениям этой тенденции можно, например, отнести намерение Microsoft включить в новые версии Excel такую OLAP-функциональность как внесение данных в кубы (обратная запись) и средства Data Mining. Естественно, что появление подобных возможностей сделает востребованной их поддержку со стороны разработчиков работающих в области разработки средств анализа данных.

Как вы относитесь к противостоянию стандартов SQL и MDX в области разработки OLAP? Какой стандарт вам кажется более перспективным?

Вадим Ляхин: SQL - это старый и, можно сказать, заслуженный язык работы с базами данных. Он не ориентирован на какую бы то ни было предопределенную структуру данных и взаимосвязь этих данных. Таблицы могут быть организованы множеством образов, определяемых разработчиками. MDX, напротив, предполагает четко структурированную информацию - есть куб, содержащий некоторые факты, у этого куба есть логически равноправные измерения, описывающие в каких разрезах нам нужна информация, каждый измерение упорядочено и проагрегировано по важным для анализа признакам. Эта четкая структура позволяет использовать большое количество функций, недоступных в SQL.

Поэтому, по моему мнению, для целей построения универсальных средств анализа, позволяющих аналитику легко, в едином интерфейсе анализировать факты по произвольным наборам признаков более перспективен стандарт MDX.

Каковы основные особенности программных продуктов "Инталев"? Чем они отличаются от других подобных разработок?

Вадим Ляхин: Компания "Инталев" разработала продукт "ИНТАЛЕВ Корпоративная аналитика", который на сегодняшний день является уникальным по многим своим характеристикам.

Продукт реализован в соответствии с концепцией "нулевого администрирования", то есть позволяет, не производя специальных настроек, получить по учетной базе "Корпоративных финансов" на платформе 1С 8.1 аналитическую базу с кубом показателей (фактически настроенных отчетов) и кубами проводок для произвольного анализа.

Более чем в 10 раз обеспечивается увеличение скорости получения отчетности, благодаря высокопроизводительной архитектура на базе технологии Microsoft Account Intelligence.

Аналитики могут работать с кубами либо через Excel, и в этом случае им не обязательно знание учетной программы, либо в среде 1С, в которую встроен OLAP - клиент.

Ускоряется работа в базе 1С, уменьшаются взаимоблокировки, поскольку пользователи получают отчеты из OLAP-базы.

В новой версии продукта появится возможность строить "гибридные" отчеты, позволяющие объединить гибкость в настройке отчетности в 1С и скорость получения итогов OLAP.