[ От редакции Oracle Magazine/RE : Интеграционный продукт Oracle Data Integrator, ранее известный как Sunopsis Data Conductor, отличается от Oracle Warehouse Builder тем, что функционирует в среде Fusion Middleware/SOA Suite, а не СУБД Oracle. Этот продукт реализует извлечение данных из разнородных источников и их загрузку также в разнородные базы данных. Он разработан для среды SOA, позволяет разделять схемы отображения данных (data mappings) на бизнес-правила (business rules) и специфические для платформ и процессов загрузки (platform/load-type specifics) части. Возможности этого продукта расширяемы благодаря использованию модулей знаний ("knowledge modules"). Подобно Oracle Warehouse Builder, он построен с применением Java и использует сервер целевой базы данных как ETL-движок, преобразуя данные после их извлечения и загрузки, при этом используя, когда это возможно, наборы операций (set-based operations). ]
Введение
Продукт Oracle Data Integrator состоит из нескольких компонент, работающих с единым централизованным репозиторием метаданных (metadata repository). Эти компоненты - графические модули (graphical modules), компоненты времени выполнения (runtime components) и Web-интерфейс - вместе с другими продвинутыми функциями и делают Oracle Data Integrator "легкой" (lightweight), свободной от атавизмов (legacy-free), совершенной интеграционной платформой.
В этом кратком техническом обзоре представлена архитектура Oracle Data Integrator.
Обзор архитектуры
Архитектура Oracle Data Integrator организована вокруг модульного репозитория, который доступен компонентам, графическим модулям и агентам исполнения (execution agents), целиком написанным на Java, в режиме клиент-сервер. Эта архитектура также включает Web-приложение - Metadata Navigator, которое позволяет пользователям получать доступ к информации (репозитория) через Web-интерфейс.
Графические модули
Графических модулей четверо: Designer, Operator, Topology Manager и Security Manager. Эти модули могут быть установлены на любой графической платформе, которая поддерживает Java Virtual Machine 1.5 (J2SE), а это Windows, Linux, HP-UX, Solaris, AIX, Mac OS и другие.
Рисунок 1: Графические модули и репозиторий
Функции графических модулей:
- Designer определяет декларативные правила (declarative rules) для преобразования данных и обеспечения их целостности (data integrity).
Вся разработка проекта происходит в этом модуле; именно здесь определяются и сюда импортируются метаданные баз данных и приложений. Модуль Designer использует метаданные и правила для генерации сценариев для производственной среды. Этот модуль является ключевым для разработчиков и администраторов метаданных;
- Operator управляет и наблюдает за производственной средой. Он разработан для операторов этой среды и показывает журналы исполнения (execution logs) с подсчетом ошибок, числом обработанных строк, статистикой исполнения, кодом, который исполняется в данный момент, и так далее. На этапе проектирования (design time) разработчики могут использовать модуль Operator для целей отладки;
- Topology Manager определяет физическую и логическую архитектуру инфраструктуры. Серверы, схемы и агенты регистрируются в главном (master) репозитории через этот модуль, как правило, администраторами инфраструктуры или проекта;
- Security Manager управляет профилями пользователей и привилегиями их доступа. Security Manager также назначает привилегии доступа к объектам и функциям (features). Этот модуль обычно используется администраторами безопасности.
Все модули хранят свою информацию в централизованном репозитории.
Компоненты времени выполнения
Во время выполнения Scheduler Agent координирует исполнение сценариев.
Scheduler Agent может быть установлен на любой платформе, которая поддерживает Java Virtual Machine (J2SE), а это Windows, Linux, HP-UX, Solaris, IBM AIX, iSeries/AS400, zSeries/OS/390. Исполнение может быть запущено из одного из графических модулей либо встроенным обработчиком расписаний (built-in scheduler) либо внешним обработчиком расписаний (thirdparty scheduler).
В рамках архитектуры Extract-Load Transform (E-LT; извлечь- загрузить (данные) и преобразовать их), Scheduler Agent редко выполняет какие-либо преобразования. Он просто выбирает код из репозитория исполнения (execution repository) и затем запрашивает серверы баз данных, операционные системы или "двигатели" скриптов (scripting engines) для исполнения этого кода. Когда исполнение завершено, Scheduler Agent изменяет журналы исполнения (execution logs) в репозитории и затем формирует отчеты с сообщениями об ошибках и статистикой исполнения. Пользователи могут просматривать журналы исполнения из модуля Operator или Web-интерфейса Metadata Navigator. Важно понимать, что хотя Scheduler Agent может действовать как "двигатель" преобразований (transformation engine), он редко используется с этой целью. Агенты устанавливаются в местах тактического назначения (tactical locations) в информационной системе для координации интеграционных процессов и максимального использования существующих систем. Они являются многонитиевыми (multithreaded), балансирующими нагрузку (load-balanced), "легкими" (lightweight) компанентами в этой распределенной интеграционной архитектуре.
Рисунок 2: Компоненты времен выполнения.
Репозитории
Репозиторий состоит из главного (или мастер-, master) репозитория и нескольких рабочих (work) репозиториев. Эти репозитории являются базами данных, управляемыми средствами реляционных СУБД. Все объекты, которые c применением модулей конфигурируются, разрабатываются или используются, хранятся в одном из этих репозиториев и доступны в режиме клиент-сервер для различных компонентов архитектуры.
Обычно есть один главный репозиторий, который содержит информацию о безопасности (пользовательские профили и привилегии), топологическую информацию (определения технологий и серверов) и версии объектов. Для ведения информации, хранимой в главном репозитории, используются Topology Manager и Security Manager. Все модули имеют доступ к главному репозиторию, так как все они сохраняют информацию о топологии и безопасности в нем.
Рисунок 3: Главный репозиторий и рабочие репозитории.
Объекты проектов хранятся в рабочих репозиториях. Несколько рабочих репозиториев могут сосуществовать на одной и той же установке. Это полезно для ведения отдельных сред или отображения особенных версий жизненного цикла - например, среды разработки (development), квалифицирования (qualification) и производственная среда.
Рабочий репозиториий хранит информацию по таким объектам:
- Модели (Models) - включая области хранения данных (datastores), колонки (columns), ограничения целостности данных (data integrity constraints), перекрестные ссылки (cross references) и происхождение данных (data lineage);
- Проекты (Projects) - включая декларативные правила, пакеты (packages), процедуры, папки, модули знаний (knowledge modules) и переменные (variables);
- Информация времени выполнения (Runtime information) - включая сценарии, информацию расписаний и журналы.
Пользователи работают с контентом рабочего репозитория, используя модули Designer и Operator. Рабочие репозитории также доступны во время выполнения агентам.
Когда рабочий репозиторий используется только для хранения информации, необходимой для исполнения (как правило, это имеет место для производственных сред), он называется репозиторием исполнения (execution repository). Этот репозиторий жлступен во время выполнения агентам и через интерфейс модуля Operator. Важно помнить, что все рабочие репозитории всегда подсоединены к одному и только одному главному репозиторию.
Навигатор метаданных
Metadata Navigator (Навигатор метаданных ) - это приложение для среды Java 2 Enterprise Edition (J2EE), которое обеспечивает доступ через Web к репозиториям. Оно позволяет пользователям просматривать объекты, включая проекты, модели и журналы исполнения. Metadata Navigator может быть установлен на сервер приложений, такой как Oracle Container for Java (OC4J) или Apache Tomcat. Бизнес-пользователи, разработчики, операторы и администраторы могут использовать Metadata Navigator через Web-браузер. Через Web-интерфейс этого приложения пользователи могут увидеть карты потоков (flow maps), найти источники всех данных и даже "просверлиться" (drill down) до уровня показателя (field level), чтобы понять преобразования, используемые для построения этих данных. Они могут также запускать сценарии и следить за ними из Web-браузера через Metadata Navigator.
Рисунок 4: Используя Metadata Navigator, пользователи могут получать доступ к метаданным и выполнять их из Web-браузера.
Другие компоненты и функции
Oracle Data Integrator также включает следующие необязательные компоненты и функции:
- Модули знаний (Knowledge modules ) позволяют легко и быстро интегрировать технологии, базы данных и приложения. Они доступны для широкого диапазона платформ, включая Oracle, Teradata, Sybase IQ, Netezza, SAP/R3, Oracle Applications, Siebel, LDAP и XML;
- Функция Advanced Parallel Option with Load Balancing - продвинутый параллельный режим с балансировкой загрузки - обеспечивает автоматическую обработку больших объемов данных с балансировкой рабочей загрузки между несколькими агентами;
- Продвинутое управление версиями (Advanced version management ) предоставляет интерфейс для ведения, обеспечения защиты, периодических пересмотров (replicate revisions) фрагментов работы (units of work), даже в крупнейших средах разработки;
- Функция Common Format Designer (CFD ) позволяет пользователям быстро проектировать или собирать модель данных из других моделей данных и затем автоматически генерировать процессы загрузки и извлечения данных для этой модели. Пользователи могут, к примеру, использовать Common Format Designer для создания операционных складов данных (operational datastores), витрин данных (datamarts) или мастер-данных (master data) канонического формата путем объединения разнородных источников. Эта функция может быть также использована для проектирования модели хранилища данных (например, схемы Звезда (Star) или Снежинка (Snowflake Schema), 3NF);
- Функция Publish and Subscribe Changed Data Capture (CDC ) отслеживает изменения в данных источников и сокращает объем обрабатываемых данных, выбирая (для обработки) только измененные данные;
- Функция Publish and Subscribe Messaging обеспечивает возможность использования ПО обработки сообщений промежуточного слоя (message-oriented middleware, MOM) для внедрения асинхронной, управляемой событиями (eventdriven) интеграционной архитектуры.
Заключение
Oracle Data Integrator - это "легкая", свободная от атавизмов, совершенная интеграционная платформа. Все компоненты могут выполняться независимо на любой совместимой с Java системе.
Благодаря свой свободной от атавизмов архитектуре, Oracle Data Integrator устанавливается в течение минут на любой платформе.