Оглавление
Для решения аналитических задач высокого уровня, связанных со сложными расчетами, прогнозированием, моделированием сценариев "что-если" и т.д., применяется особая технология. Она реализована в виде семейства OLAP-продуктов Oracle Express, включающего в себя специальный сервер многомерных БД, инструментарий администрирования, средства разработки в среде клиент-сервер и Web, а также готовые аналитические приложения, ориентированные на конкретные функциональные задачи, такие как анализ продаж и маркетинговые исследования, финансовый анализ и бюджетное планирование.
На Рис. 4 представлена архитектура линейки продуктов Express.
Рис. 4. Семейство программных продуктов Express
Аналитическая мощь и гибкость средств разработки и приложений OLAP основывается на Oracle Express Server. Он использует многомерную модель данных, наиболее эффективно отражающую представление пользователей о предметной области. В рамках этой модели определяются оси анализа (размерности, или измерения), от которых зависят данные (показатели), например, объем продаж анализируется в разрезе времени, номенклатуры продукции, регионов и каналов сбыта. Измерения, как правило, имеют иерархическую структуру, и пользователи могут работать как с детальными, так и с агрегированными данными (просуммированными предварительно или "на лету"), произвольно переходя с одного уровня на другой.
Запросы в многомерной модели выполняются очень быстро, иногда в сотни и тысячи раз быстрее, чем к реляционным СУБД. Express Server уже долгое время лидирует в специализированных тестах производительности OLAP-серверов (ABP-1), показывая при этом высочайшую масштабируемость по объему данных и количеству пользователей. Это делает возможным создание систем интерактивного динамического анализа со средним временем отклика в доли секунды, а также построение информационных систем руководителя, от которых требуется практически мгновенная реакция на запрос.
Express Server включает в себя мощный механизм аналитический вычислений, включающий в себя более сотни встроенных функций - математических, статистических, функций анализа временных рядов, финансовых и других, и все они могут быть использованы для быстрого построения новых расчетных показателей. Имеется и более продвинутая аналитика - алгоритмы прогнозирования, элементы регрессионного и частотного анализа, моделирование сценариев "что-если". Кроме того, разработчики могут расширять аналитические возможности путем создания собственных функций на мощном процедурном языке Express SPL. Тот же самый язык используется для программ загрузки данных из различных реляционных СУБД и текстовых файлов.
Существует версия Express Server, работающая на персональном компьютере под управлением Windows 95/98/NT, - Personal Express. С точки зрения архитектуры, модели данных и аналитических возможностей эти продукты абсолютно идентичны. Personal Express используется, прежде всего, мобильными пользователями, проводящих анализ данных, будучи отсоединенными от корпоративной сети.
Основным инструментом построения и администрирования многомерных Витрин Данных является Oracle Express Administrator. Это визуальная среда разработчика, существенно облегчающая создание, модификацию и управление объектами БД Express, а также загрузку данных из различных источников.
С помощью графического интерфейса, в состав которого входит ряд Мастеров, можно определять и редактировать любые объекты многомерной БД, генерировать оптимизированный программный код для загрузки данных и их агрегирования, редактировать иерархии в измерениях с использованием техники "drag-and-drop". Встроенный редактор Express SPL позволяет создавать собственные хранимые процедуры и модифицировать код, сгенерированный Мастерами. После компиляции эти процедуры исполняются непосредственно в окне команд Express или вносятся в расписание с помощью планировщика заданий. Администратор может определить конкретную дату и время запуска, периодичность исполнения и зависимости между заданиями (последовательность вызова процедур). Все это позволяет полностью автоматизировать процессы периодической загрузки данных в многомерную Витрину и их агрегирования, в то же время предоставляя администратору возможность отслеживать статус и протокол исполнения заданий с помощью специального монитора.
Oracle Express Relational Access Manager
Для динамического доступа к реляционным Хранилищам и Витринам используется модуль Express Relational Access Manager, позволяющий реализовывать произвольные схемы хранения данных - ROLAP (реляционный OLAP), MOLAP (многомерный OLAP) или HOLAP (гибридный OLAP). Последний дает возможность разработчику балансировать между двумя крайними подходами, максимально используя преимущества каждого из них. Любая часть данных (например, на верхних уровнях агрегирования) может храниться в многомерной базе Express, а все остальное - в реляционном Хранилище, динамически извлекаясь только при обращении к этим данным. При необходимости выбранную пропорцию можно легко изменить. Независимо от способа хранения, пользователи прозрачно работают с многомерным представлением данных, и им доступны все аналитические возможности Express Server.
С помощью графической утилиты Express Relational Access Administrator разработчик создает структуру многомерной базы данных, а затем, используя drag-and-drop, устанавливает соответствие между объектами Express и структурами реляционного Хранилища. Другой мощной возможностью является генерация метаданных Express Relational Access Manager непосредственно на основе структуры Хранилища, описанной в репозитории Warehouse Builder. После построения отображения запускается процесс автоматического создания БД Express и (при использовании схемы HOLAP) извлечения части данных в многомерный кэш, после чего эта база данных становится доступной для анализа и разработки приложений.
Oracle Express Analyzer - средство конечного пользователя, предназначенное для самостоятельного построения отчетов, анализа многомерных данных Express и публикации результатов на Web. Интерфейс Express Analyzer настолько прост и интуитивен, что даже неподготовленный пользователь немедленно получает доступ к возможностям OLAP.
Основным понятием в Express Analyzer является брифинг - набор страниц, содержащих динамические интерактивные отчеты в табличном и графическом виде, кнопки с привязанными к ним действиями (например, печать или экспорт в Excel) и OLE-объекты.
Пользователь с помощью простых манипуляций мышью может создавать отчеты, получать различные срезы многомерной информации, детализировать данные по любому иерархическому измерению (операция "drill down") и проводить динамическое агрегирование. В любой отчет встроен Селектор - графический инструмент нерегламентированных запросов, позволяющий конечному пользователю формулировать критерии отбора типа "Продажи каких продуктов из 20 имеющих наибольшую долю в общих продажах на 5 и более процентов ниже планируемых?" и получать соответствующие подмножества данных. Если полученный отчет интересен другим пользователям, его легко можно отправить по электронной почте или экспортировать на корпоративный Web-сайт. Таким образом, Express Analyzer сочетает в себе простой и удобный доступ к данным с возможностью обмена результатами анализа, повышая тем самым эффективность совместной работы пользователей.
Oracle Express Objects - мощная объектно-ориентированная графическая среда, предназначенная для быстрой разработки полнофункциональных OLAP-приложений в среде клиент/сервер. Она используется профессиональными разработчиками и обеспечивает высокую гибкость, контролируемость и возможность повторного использования кода при создании рабочих мест для аналитиков и руководства.
Express Objects содержит как стандартные визуальные элементы Windows (меню, кнопки, закладки, OLE-объекты и т.д.), так и специализированные интерфейсные объекты для доступа и манипуляции многомерными данными Express (таблица и график - те же, что и в Express Analyzer, а также список значений измерения, Селектор и другие). Кроме того, можно расширять имеющийся набор путем включения интерфейсных элементов третьих фирм, например, интерактивных карт и календарей, что позволяет реализовать практически любой внешний вид приложения.
Рис. 5. Пример приложения, созданного в среде Express Objects.
В Express Objects полностью поддерживаются концепции объектно-ориентированного подхода - инкапсуляция, наследование и полиморфизм, а также программирование, управляемое событиями. В качестве языка управления объектами в Express Objects используется Express Basic, синтаксически совместимый с Microsoft Visual Basic. Таким образом, разработчик на Visual Basic сразу сможет эффективно использовать накопленные знания, начав работать с Express Objects.
Приложения, построенные с помощью Express Objects, могут исполняться в среде Express Analyzer. Сочетание этих двух продуктов, обеспечивающих визуальную разработку и простое развертывание, с мощными возможностями Express Server, а также интеграция с Discoverer значительно облегчает и ускоряет внедрение многофункциональных аналитических систем.
Oracle Express Spreadsheet Add-In
Кроме Express Analyzer или Express Objects, пользователи могут получать динамический доступ к многомерным данным, используя в качестве интерфейса Microsoft Excel. Специальная компонента Express Spreadsheet Add-In дополняет стандартные возможности этой электронной таблицы функциональностью OLAP, позволяя с помощью простого Мастера строить в среде Excel интерактивные многомерные отчеты. Пользователям доступны те же основные манипуляции с данными, что и в других инструментах OLAP, - получение различных срезов, детализация и Селектор. Для получения графического представления данных применяются соответствующие возможности Excel.
Spreadsheet Add-In предлагает собственный интерфейс прикладного программирования (API) для разработки более сложных приложений на базе стандартных электронных таблиц. Пользуясь им, разработчики могут создавать макросы для автоматизированного выполнения многих операций, заложенных в Spreadsheet Add-In.
Технология Express позволяет пользователям проводить интерактивный анализ не только в среде клиент-сервер, но и в архитектуре Web. Это обеспечивает простое распространение аналитической информации в рамках организации и за ее пределами, более дешевое сопровождение OLAP-приложений, снижение аппаратных требований к рабочим станциям и независимость приложения от клиентской платформы, так как для доступа к данным используется обычный браузер.
Серверная компонента Oracle Express Web Agent, состоящая из интерфейсного модуля к Express Server и набора Java-апплетов для визуализации и работы с данными, предоставляет любому авторизованному сотруднику организации все возможности OLAP, не требуя никакого программного обеспечения Express на его персональном компьютере. Динамический доступ к данным гарантирует пользователям получение документов, всегда содержащих самую свежую информацию.
Web-приложения в среде Express можно создавать несколькими способами. Простейший из них, доступный даже неподготовленным пользователям, заключается в стандартной опции экспорта на Web любой таблицы или диаграммы в Express Analyzer/Objects. Опытные пользователи и разработчики могут создавать Web-брифинги с помощью графической среды Express Web Publisher, по своему интуитивному "drag-and-drop" интерфейсу аналогичной Express Analyzer. Наконец, профессиональные разработчики, используя слой хранимых процедур Express Web Developer's Toolkit, могут строить более сложные Web-приложения.
Oracle Financial Analyzer - интегрированное решение для формирования финансовой отчетности, анализа, прогнозирования, составления и контроля исполнения бюджетов. Объединяя распределенную архитектуру c централизованным управлением потоками данных и аналитической мощью Express, приложение позволяет осуществлять контроль затрат, анализ эффективности и оценку возможностей на всех уровнях организации в рамках единой системы.
Для внедрения Oracle Financial Analyzer не требуется ломать сложившиеся бизнес-процессы. Продукт гибко адаптируется к существующим требованиям и их возможным дальнейшим изменениям. В него легко закладывается любая организационная структура, статьи анализа, номенклатура продукции, проекты, финансовые периоды, варианты бюджетов и прогнозов и так далее. Процесс бюджетного планирования настраивается под конкретные нужды организации - определяется иерархическая структура рабочих мест с указанием ролей сотрудников, реализуется выбранная методика бюджетирования (сверху вниз, снизу вверх, смешанные подходы) и связанные с ней процедуры сбора, распределения, консолидации и утверждения бюджетов. Система сочетает ручной ввод бюджетной информации (в стандартном интерфейсе либо через Excel или Web-браузер) с гибкими возможностями извлечения данных из различных источников - электронных таблиц, реляционных баз данных, приложений ERP и унаследованных систем. Oracle Financial Analyzer интегрирован с ядром финансовых приложений Oracle Applications - Главной Книгой, что значительно упрощает обмен данными между ними и сокращает срок внедрения системы.
Для контроля исполнения бюджетов по различным направлениям (сравнение план/факт) и для решения других аналитических задач Oracle Financial Analyzer предлагает стандартные многомерные OLAP-отчеты и инструментарий нерегламентированных запросов (Селектор), в том числе в среде Web. Встроенный механизм финансового моделирования, использующий всю вычислительную мощь Express Server, служит для определения взаимосвязей между статьями бюджета, построения сложных индикаторов эффективности и обеспечивает возможность анализа "что-если".
Oracle Financial Analyzer существенно сокращает трудозатраты на составление и контроль исполнения бюджетов, анализ и прогнозирование финансового состояния, а его сочетание с Oracle Applications обеспечивает полное интегрированное решение для управления финансами предприятия.
Oracle Sales Analyzer - приложение масштаба предприятия, предназначенное для анализа продаж и маркетинговых исследований. Тенденции и прогноз продаж, эффективность рекламных кампаний, прибыльность продукта или заказчика, жизненный цикл продукта могут быть оценены с помощью этого пакета, однако этим его функциональность не ограничена. Sales Analyzer может использоваться для решения более общих аналитических задач, не связанных с коммерческой деятельностью, в которых востребованы возможности OLAP.
В Oracle Sales Analyzer встроен графический инструментарий для построения индикаторов эффективности и других показателей, таких как динамика продаж, доля рынка, различные индексы, результаты нарастающим итогом, скользящее среднее, сдвиги по времени и т. д. Кроме того, система позволяет конечному пользователю создавать группы товаров, клиентов или периодов времени и, рассматривая их как единое целое, сравнивать с остальными. Это часто бывает необходимым, например, при решении задач сегментации заказчиков и при оценке результатов маркетинговых кампаний.
Помимо многомерных отчетов и диаграмм со стандартной функциональностью OLAP, пользователи Sales Analyzer могут создавать специальные типы отчетов, часто применяющиеся при анализе продаж и в маркетинге - об исключениях и ранжировании. Они помогают быстро выделять продукты и заказчиков по различным критериям и проводить анализ "80/20". Кроме того, существует библиотека предопределенных шаблонов отчетов, которые дают картину ключевых индикаторов эффективности продаж и маркетинговой деятельности. Среди них - "Тенденции", "Сравнение", "Распределение", "Темпы роста", "Выполнение плана", "Непродаваемые продукты" и другие. Эти отчеты, широко используемые отделами маркетинга во многих компаниях, позволяют получить немедленную отдачу от внедрения системы.
Технологически Oracle Sales Analyzer полностью интегрирован с Express Relational Access Manager. Таким образом, с учетом возможности генерации метаданных RAM в Oracle Warehouse Builder, Sales Analyzer является готовым решением для глубокого анализа информации в любых реляционных Хранилищах и Витринах Данных.
Oracle Darwin Data Mining Suite
Инструментальная среда Darwin предназначена для анализа данных методами, относящимися к технологии "data mining" (извлечение знаний). Основная задача технологии извлечения знаний состоит в выявлении в больших наборах данных скрытых закономерностей, зависимостей и взаимосвязей, полезных при принятии решений на различных уровнях управления. Такие закономерности представляются в виде моделей различного типа, позволяющих проводить классификацию ситуаций или объектов, прогнозировать их поведение, выявлять группы сходных объектов и т.п. Модели строятся автоматически на основе анализа имеющихся данных об объектах, наблюдениях и ситуациях с помощью специальных алгоритмов.
Darwin поддерживает все этапы технологии извлечения знаний, включая постановку задачи, подготовку данных, автоматическое построение моделей, анализ и тестирование результатов, использование моделей в реальных приложениях.
На этапе подготовки данных обеспечивается доступ к любым реляционным базам данных, текстовым файлам, SAS-файлам. Дополнительные средства преобразования и очистки данных позволяют изменять вид представления, проводить нормализацию значений, выявлять неопределенные или отсутствующие значения. На основе подготовленных данных специальные процедуры автоматически строят различные модели для дальнейшего прогнозирования, классификации новых ситуаций, выявления аналогий. Darwin поддерживает построение пяти различных типов моделей - нейронные сети, классификационные и регрессионные деревья решений, ближайшие k-окрестности, байесовское обучение и кластеризацию.
Развитые графические средства предоставляют широкие возможности для анализа полученных результатов, верификации моделей на тестовых наборах данных, оценки точности и устойчивости результатов. Уточненные и проверенные модели можно включать в существующие приложения путем генерации их описаний на С, C++, Java, а также разрабатывать новые специализированные приложения с помощью входящей в состав Darwin среды разработки (SDK).
Важной особенностью системы Darwin, выделяющей его среди других средств извлечения знаний, являются его технические характеристики: работа в архитектуре "клиент-сервер", широкое использование техники параллельных вычислений, высокая степень масштабируемости при увеличении вычислительных ресурсов. Все это позволяет выполнять процедуры автоматического анализа данных огромных объемов, достигая очень высоких временных показателей.