Статья посвящена структурированию данных EAP, управлению метаданными, также кратко описывается технология продукта AllFusion Saphir Option от Computer Associates и те преимущества, которые она предлагает.
Пакеты корпоративных приложений (Enterprise Application Product, EAP), например SAP, J.D. Edwards EnterpriseOne, PeopleSoft Enterprise и Siebel CRM, в качестве основы своей функциональности используют большие базы данных (БД). Понять истинную структуру этих БД в лучшем случае затруднительно. Причиной являются замысловатые наименования таблиц и столбцов, а также соблюдение ссылочной целостности на уровне приложения.
Как структурированы данные EAP
Пакеты корпоративных приложений могут предоставлять широкий набор бизнес-функций, поскольку они обладают развитыми структурами данных. Например, в SAP R/3 примерно 25 тыс. базовых таблиц. Эти продукты работают с лежащей в их основе БД почти как с плоской файловой системой. На способ структурирования данных влияют два важных фактора:
- поддержка нескольких языков;
- независимость от реляционной системы управления БД (РСУБД).
Поддержка нескольких языков
Пакеты SAP, J.D. Edwards EnterpriseOne, PeopleSoft и Siebel CRM поддерживают несколько языков. Пользователи могут видеть экранные диалоговые окна и тексты в отчетах на выбранном языке (например, английском, немецком или испанском).
Для реализации этих многоязычных возможностей экранные сообщения, заголовки отчетов и другие подобные данных хранятся в словаре данных продукта. Это означает, что по именам физических таблиц и столбцов обычно трудно понять, какие данные они хранят. Например, в SAP таблица с названием KNA1 хранит данные о заказчиках, а в этой таблице есть столбец ORT01, который хранит названия городов.
В результате очень трудно понять структуру данных, просто взглянув на имена таблиц и столбцов, как это можно сделать для любой другой БД. "Осмысленные" текстовые описания находятся в словаре данных, и они не соответствуют явным образом именам таблиц и столбцов.
Независимость от РСУБД
Другой фактор, который влияет на способ структурирования данных EAP, - это то, что корпоративные приложения спроектированы с учетом реализации на различных типах РСУБД (например, DB2, Oracle или SQL Server).
Чтобы обеспечить независимость от РСУБД, корпоративные приложения используют эти БД на очень простом уровне. Многие возможности, обычно связанные с определенной РСУБД, реализуются через собственный словарь данных приложения. Например, информация о связях, которая определяет, как объединяются таблицы в SAP, хранится в словаре данных, а не в БД.
Важность управления метаданными
Трудности, возникающие при работе со структурой данных EAP, делают управление метаданными очень важным. Метаданные - это данные о данных. Это "карта" информационных ресурсов, доступных для организации. Например, в системе, предназначенной для учета счетов, счет №7 - это кусочек данных. Свойства "номер счета", "дата счета", "номер счета" и т.д. - это метаданные о счете. Метаданные описывают характеристики данных, но это не сами данные.
Метаданные обычно содержат информацию, связанную со структурой и расположением данных. Например, в организации может существовать таблица "Заказчик" с набором полей. Каждое поле хранит определенный тип данных, а таблица может храниться на определенном компьютере в сети.
Кроме того, метаданные могут описывать, как части информации в организации связаны друг с другом. Например, заказчик может иметь серию связанных с ним контактов, которые можно найти, запросив все контакты с определенным кодом заказчика.
Метаданные становятся важными, когда есть необходимость понять, где и как хранятся данные. Это может быть в следующих ситуациях:
- создание хранилища данных;
- разработка специализированных отчетов;
- создание интерфейсов между разными системами.
Во всех этих случаях встает один из важнейших вопросов: "Где я могу найти информацию, которую ищу?"
Важность метаданных показывает процесс создания хранилища данных. Без четкого понимания источников потенциальных данных для хранилища очень трудно определить место хранения данных, которые нужно загрузить в хранилище. Учитывая стратегическую природу таких корпоративных прикладных продуктов, как SAP, данные из связанной с этим приложением БД являются первым кандидатом на включение в хранилище, но закрытая архитектура пакетов EAP делает обнаружение метаданных очень сложной задачей.
Как AllFusion Saphir Option помогает в управлении метаданными
Рынок инструментов для хранилищ данных сейчас наводнен продуктами, которые предлагают возможности для создания отчетов, перемещения данных, очистки данных, а также множество других функций, связанных с хранением данных. Многие из этих продуктов основаны на определенной архитектуре метаданных. Они учитывают важность метаданных для хорошей реализации хранилища. Однако на рынке корпоративных приложений для практической реализации хранилища требуются очень специфичные метаданные.
Продукт AllFusion Saphir Option позволяет как техническим, так и бизнес-пользователям быстро обнаружить местоположение данных, в которых они заинтересованы. Кроме того, интерфейс этого решения с продуктом CA AllFusion ERwin Data Modeler (AllFusion ERwin DM) означает, что можно легко создавать диаграммы связей между сущностями для выбранных структур данных.
Описание продукта AllFusion Saphir Option
AllFusion Saphir Option - это простой, но мощный инструмент. Он работает под ОС Windows и позволяет на практике исследовать и использовать метаданные корпоративного приложения. Он обладает следующими возможностями:
- извлечение метаданных из SAP, J.D. Edwards EnterpriseOne, PeopleSoft и Siebel для последующего сохранения в репозитории AllFusion Saphir Option;
- исследование метаданных;
- экспорт метаданных в AllFusion ERwin DM для создания визуальных моделей данных;
- функции сравнения разных систем для нахождения различий между версиями и вариантами установки.
Извлеченные метаданные хранятся в репозитории AllFusion Saphir Option. Он представляет собой набор таблиц БД, реализованных в Oracle, SQL Server или ряде других РСУБД.
AllFusion Saphir Option облегчает доступ к следующих объектам метаданных:
- таблицы;
- поля;
- связи;
- элементы данных;
- представления;
- домены;
- индексы.
Это решение обладает мощными возможностями поиска, которые позволяют быстро находить таблицы и поля. Пользователи могут легко находить все таблицы, которые содержат определенное поле, либо все таблицы с определенной строкой текста в их названии. После нахождения интересующей таблицы можно легко получить всю информацию о связях, которые показывают, как эта таблица соединена с другими таблицами. AllFusion Saphir Option позволяет перемещаться по связям, позволяя на практике разобраться в сложностях метаданных корпоративного приложения.
Рисунок 1. Просмотр метаданных с помощью AllFusion Saphir Option.
Рисунок 2. Просмотр родительской и дочерней таблиц для выбранной таблицы в SAP.
Рисунок 3. Модель данных в AllFusion ERwin DM, где показаны физические имена.
AllFusion Saphir Option также обладает удобными возможностями просмотра данных - весомое подтверждение того, что найденные элементы данных действительно содержат нужные данные. Экспорт метаданных из AllFusion Saphir Option в AllFusion ERwin DM дает возможность представить структуры данных в удобной для понимания графической форме.
Преимущества AllFusion Saphir Option
Любой проект, который подразумевает доступ к данным из SAP, J.D. Edwards EnterpriseOne, PeopleSoft или Siebel требует понимания используемых структур данных. Как правило, вовлеченные в подобные проекты работники не обладают необходимыми специальными знаниями этих приложений. В получении этих знаний они полагаются на скудные и дорогие ресурсы вне проектной группы. AllFusion Saphir Option сокращает эту зависимость от внешних ресурсов и предоставляет проектным группам собственные средства для работы с данными корпоративных приложений.
Для минимизации воздействия на производительность системы AllFusion Saphir Option хранит копию извлеченных метаданных в собственном репозитории "приложения". После заполнения этого репозитория для повседневного доступа к этим структурам больше не нужно работать с исходной системой. В итоге можно анализировать данные без неблагоприятного влияния на скорость работы корпоративного приложения.
Рисунок 4. Модель данных в AllFusion ERwin DM, где показаны логические имена.
AllFusion Saphir Option также делает возможным нахождение и анализ различий между стандартной или эталонной версией EAP и специально настроенной версией, которая может использоваться в организации. Функция сравнения моделей в этом решении дополнительно предоставляет простые, но мощные средства для нахождения изменений. Это полезно при сравнении двух различных версий или реализаций корпоративного приложения.
Интерфейс между AllFusion Saphir Option и AllFusion ERwin Data Modeler позволяет проектным группам легко создавать модели данных для отображения сложных структур корпоративных приложений. Кроме того, эти модели данных затем служат точкой интеграции между EAP и устаревшими БД и/или хранилищами и витринами данных в организации.