Интеграция данных с SAP NetWeaver Business Intelligence при помощи IBM Information Server

SAP BI предоставляет решение Enterprise Data Warehouse для пользователей SAP по консолидации и анализу бизнес-данных. Предприятия могут использовать SAP BI для обеспечения своей деятельности данными, реагирования на изменения рынка и повышения конкурентоспособности. В SAP NetWeaver 2004 SAP BI назывался SAP Business Information Warehouse (SAP BW).

Создание хранилища данных SAP BI - это сложный проект. Он включает себя различные задачи, такие как планирование, моделирование данных, классификация данных, проектирование ETL-заданий и настройка производительности. Проектирование ETL-заданий по загрузке данных и их извлечению из SAP BI часто является самой затратной по времени задачей.

IBM Information Server - это унифицированная и комплексная платформа по интеграции информации. Предприятия могут использовать IBM Information Server для подключения к различным источникам данных, извлечения и обработки данных, предоставления обработанной и высококачественной информации. В SAP BI проектах IBM Information Server может использоваться как эффективное инструментальное средство ETL для обработки данных большого объема и для создания корпоративного хранилища данных (enterprise data warehouse).

Терминология, используемая в данной статье, объясняется в приложении "А". В приложении "B" приводится список инструментальных средств для работы с рассмотренными здесь примерами.

Необходимые продукты и их установка

IBM Information Server содержит много программных продуктов для задач интеграции данных и их анализа. К этим продуктам относятся WebSphere® DataStage®, WebSphere QualityStage®, WebSphere Information Analyzer, WebSphere Federation Server и другие сопутствующие продукты. В зависимости от требований конкретного проекта можно установить подмножество продуктов IBM Information Server.

Рисунок 1. Программные средства, необходимые для проектирования ETL- заданий для SAP BI и SAP BW

На рисунке 1 показан минимальный набор продуктов IBM Information Server, необходимых для проектирования ETL- заданий для SAP BI или хранилища данных BW.

• WebSphere DataStage, который включает:
  • DataStage Client
  • DataStage Server
  • DataStage Metadata Repository
  • DataStage Domain Server
  Продукты WebSphere DataStage могут быть установлены отдельно как на разных компьютерах, так и на одном и том же.

• WebSphere DataStage Pack for SAP BW (DataStage BW Pack)

  DataStage BW Pack - это сопутствующий продукт IBM Information Server. Первоначально он был предназначен для поддержки SAP BW, а в настоящее время поддерживает SAP BW и SAP BI. GUI-компоненты DataStage BW Pack устанавливаются на DataStage Client. Система времени исполнения Pack устанавливается на DataStage Server.

• SAP Remote Function Call (RFC) Library

  Библиотека SAP RFC - это внешний компонент для IBM Information Server. DataStage BW Pack использует интерфейс SAP RFC для вызова функций SAP BI и SAP BW. Библиотека SAP RFC является необходимым требованием при использовании DataStage BW Pack и должна быть установлена как на DataStage Client, так и на DataStage Server.

Обзор архитектуры

Компоненты программного обеспечения, показанные на рисунке 1, играют разные роли в процессе проектирования и выполнения ETL- заданий для SAP BI.

• Компоненты DataStage Client и DataStage BW Pack GUI обеспечивают дружественный интерфейс для проектирования ETL- заданий и для настройки операций с данными, которые должны выполняться на системах SAP BI.
• Компоненты DataStage Server и DataStage BW Pack Server позволяют пользователям планировать и выполнять ETL- задания.
• DataStage Domain Server управляет учетными записями пользователей и занимается авторизацией пользователей, применяющих различные функциональные возможности IBM Information Server.
• DataStage Metadata Repository - это база данных для хранения и совместного использования определений таблиц, полей или объектов.

DataStage BW Pack содержит четыре основных компонента:

• BW Load Stage. Загружает данные из не-SAP источников данных в систему SAP BI. BW Load Stage - это SAP-сертифицированное решение интеграции загрузки данных, реализованное с использованием интерфейса SAP Staging BAPI.
• BW Extract Stage. Извлекает данные из системы SAP BI. Это SAP-сертифицированное решение интеграции извлечения данных, основанное на интерфейсе SAP Open Hub Service.
• BW RFC Server. Реализует различные функции, активизируемые системой SAP BI. Он принимает инициированные системой SAP BI запросы на загрузку или извлечение данных и активизирует DataStage-задания для выполнения соответствующих операций с данными.
• BW RFC Manager. Управляет процессами BW RFC Server. Он создает один процесс BW RFC Server на источник данных. Он также предоставляет функции для запуска и остановки процессов BW RFC Server. Источник данных представляет собой логическую или физическую систему, являющуюся внешней для системы SAP BI. Источник данных предоставляет исходные данные для системы SAP BI или принимает извлеченные данные из системы SAP BI.

Загрузка данных в SAP BI

DataStage-задания могут быть спроектированы для извлечения, подготовки (очистки) и консолидации данных из не-SAP источников и для загрузки данных в системы SAP BI. Например, можно извлечь данные о клиенте из приложений CRM и найти его заказы в приложениях обработки заказов. Консолидированные заказы могут быть загружены в систему SAP BI для анализа.

В данном разделе используется простое ETL-задание с целью демонстрации шагов, необходимых для загрузки данных в систему SAP BI. На рисунке 2 показан пример задания. Задание извлекает данные о клиенте из таблицы базы данных Oracle®, используя ODBC Stage. Извлеченные данные передаются в BW Load Stage LoadDataToSAPBI, который загружает обработанные данные в CUSTOMER Characteristic системы SAP BI. В таблице 1 показан пример данных в таблице базы данных Oracle. CUSTOMER Characteristic создается в SAP BI при помощи среды SAP Data Warehousing Workbench, показанной на рисунках 3 и 4.

Рисунок 2. DataStage-задание для загрузки данных в SAP BI

Таблица 1. Пример данных в таблице базы данных Oracle

Рисунок 4. CUSTOMER Characteristic в SAP BI - закладка Attribute

Рисунок 5. Блок-схема потока данных операции загрузки данных BI

На рисунке 5 показана блок-схема потока данных операции загрузки данных BI.

1. Источник данных определяется для представления одного или нескольких DataStage-заданий, загружающих данные в SAP BI. Структура передачи данных описывает данные, доступные в источнике данных. DataStage-задание загружает данные из внешних источников данных в промежуточную таблицу (staging table) SAP BI Persistent Staging Area (PSA).
2. Правила передачи определяются для передачи данных из промежуточной таблицы в InfoSource. InfoSource - это набор полей данных, рассматриваемых как один модуль. Поля данных InfoSource определяет структура взаимодействия.
3. Правила обновления создаются для передачи данных из InfoSource в одно или несколько назначений данных BI (InfoObjects, DataStore-объекты или BI InfoCubes).

BW Load Stage предоставляет Stage Editor (см. рисунок 6). Stage Editor содержит несколько закладок для установки разнообразных параметров операции загрузки BI.

• В закладке General создается или выбирается RFC-подключение к SAP BI.
• В закладке Transfer Structure создается или выбирается источник данных и InfoSource.
• В закладке Columns отображаются определения столбцов данных, передаваемых в SAP BI.
• В закладке InfoPackage определяется, как и когда DataStage-задание загружает данные в SAP BI.
• Закладка Process Chain позволяет запустить операцию загрузки данных как процесс в последовательности BI-процессов. Последовательность процессов (process chain) обеспечивает функцию рабочего потока. Она используется для проектирования и планирования серий зависимых процессов обработки данных.

Рисунок 6. BW Load Stage Editor

BW Load Stage LoadDataToSAPBI на рисунке 2 загружает данные таблицы 1 в SAP BI. Настройка фазы BW Load Stage происходит в несколько шагов. Эти шаги показаны на рисунке 7. В следующих разделах они описываются подробно.

Рисунок 7. Настройка фазы BW Load Stage LoadDataToSAPBI

Настройка BW-подключения

Свойства BI-подключения настраиваются в закладке General (см. рисунок 6). Для создания, выбора или изменения BI-подключений предоставляются элементы меню.

На рисунке 8 показано диалоговое окно нового подключения. Новое BI-подключение DEMOCONN сохраняется на сервере DataStage и может быть повторно использовано для проектирования других DataStage-заданий, выполняющих операции с BI-данными.

Рисунок 8. Диалоговое окно свойств подключения

Настройка источника данных

Свойства источника данных настраиваются в закладке Transfer Structure, показанной на рисунке 9. Для создания, выбора или просмотра источников данных предоставляются элементы меню.

В SAP BI источником данных может быть однородный (flat) файл, SAP-система, база данных, многомерный источник данных, Web-сервис или внешнее приложение, реализующее интерфейс Staging BAPI. BW Load Stage использует Staging BAPI для обмена метаданными с SAP BI и для загрузки данных в SAP BI.

Рисунок 9. Закладка Transfer Structure

Элемент меню New… на рисунке 9 создает новый источник данных. После его создания BW RFC Manager начинает новый процесс на BW RFC Server. Процессы RFC Server ожидают запросы на загрузку данных от SAP BI и запрашивают соответствующие DataStage-задания для запуска операций загрузки данных. Новый источник данных сохраняется на сервере DataStage для дальнейшего повторного использования.

На рисунке 10 показано, что создается новый источник данных DEMODSSRC. Процесс BW RFC Server для нового источника данных автоматически создается на сервере DataStage и регистрируется с SAP BI как программа <hostname>.DEMODSSRC. Как показано на рисунке 11, для просмотра и тестирования RFC-назначения для нового источника данных может использоваться SAP-транзакция sm59.

Рисунок 10. Создание источника данных

Рисунок 11. RFC-назначение

Настройка InfoSource

InfoSource устанавливается в закладке Transfer Structure, показанной на рисунке 12. Для создания, обновления, просмотра и поиска характеристик SAP BI, ключевых схем (key figures) и InfoSources предоставляются элементы меню.

Рисунок 12. Элементы меню InfoSource

Элемент меню Create Master InfoSource from Existing Characteristic… создает InfoSource, основанный на существующих характеристиках. При выборе этого элемента меню необходимы два последовательных действия пользователя:

1. Выбрать существующую характеристику (Characteristic). BW Load Stage показывает BI-характеристики, соответствующие условиям поиска, и позволяет выбрать существующую характеристику. На рисунке 13 выбирается характеристика CUSTOMER.

   Рисунок 13. Выбор существующей характеристики
   
   
   

2. Указать свойства нового объекта BI InfoSource, как показано на рисунке 14.

   Рисунок 14. Указание свойств нового InfoSource
   
   
   

Как показано на рисунке 15, BW Load Stage создает указанный InfoSource в SAP BI. В закладке Transfer Structure (см. рисунок 16) выбирается также InfoSource.

Рисунок 15. Новый InfoSource

Рисунок 16. Выбор нового InfoSource

Настройка определения таблицы DataStage

После выбора InfoSource в закладке Transfer Structure создается определение таблицы DataStage на основе структуры передачи InfoSource. На рисунке 17 показано определение таблицы. Таблица 2 показывает, как типы данных SAP отображаются на типы данных DataStage. Определение таблицы может быть проверено и синхронизировано с полями InfoSource при помощи кнопок Validate Columns и Synchronize Columns.

Рисунок 17. Закладка Columns

Таблица 2. Таблица отображения типов данных

Настройка InfoPackage

InfoPackage настраивается в закладке InfoPackage, показанной на рисунке 18. InfoPackage - это точка входа SAP BI для запроса данных из источника данных. InfoPackage определяет, когда и как DataStage-задание загружает данные в систему SAP BI. Закладка InfoPackage создает и выбирает InfoPackage. Закладка позволяет также настраивать свойства InfoPackage (см. рисунок 19).

Рисунок 18. Закладка InfoPackage

Рисунок 19. Диалоговое окно InfoPackage property

BW Load Stage поддерживает три механизма загрузки данных:

• Режим Push. Сначала запускается DataStage-задание. DataStage-задание планирует InfoPackage для работы по запуску операции загрузки данных.
• Режим Pull. Сначала планируется InfoPackage с использованием SAP Data Warehousing Workbench. Как только система SAP BI готова к приему данных, она уведомляет процесс RFC Server. Процесс RFC server запускает DataStage-задание для передачи данных в SAP BI.
• Режим File. Сначала выполняется DataStage-задание. DataStage-задание сохраняет данные для SAP BI во временный файл. Затем планируется InfoPackage для загрузки данных, находящихся в файле, в SAP BI.

Для поддержки инструментальных средств интеграции сторонних поставщиков (например, DataStage BW Pack) определяются third-party-параметры InfoPackage. Как показано на рисунке 20, в качестве third-party-параметра для нового InfoPackage DEMO Pull InfoPacakge автоматически устанавливается DataStage-задание BILoadJob.

Рисунок 20. third-party-параметры InfoPackage

Использование third-party-параметров в процессе загрузки BI-данных можно описать так:

• SAP BI планирует и выполняет InfoPackage DEMO PULL InfoPackage.
• Когда он готов к приему данных, InfoPackage передает запрос на загрузку в источник данных DEMODSSRC. Он также передает third-party-параметр DSJob и его значение BILoadJob в источник данных.
• Процесс RFC Server для источника данных принимает запрос и запускает DataStage-задание BILoadJob для передачи пакетов данных в SAP BI.

Настройка последовательности процессов

Последовательность процессов настраивается в закладке Process Chain. Этот шаг не обязателен. BW Load Stage может работать и без последовательности процессов.

Последовательность процессов определяет ряд зависимых процессов, связанных между собой. Выполнение InfoPackage - это один из типов процессов, определяемых SAP BI. Как показано на рисунке 21, выполнение InfoPackage DEMO Pull InfoPacakge добавляется как процесс в последовательность процессов Demo Load Chain. На рисунке 22 выбрана последовательность процессов Demo Load Chain.

Рисунок 21. Выполнение задания по загрузке данных как части последовательности процессов

Рисунок 22. Выбор последовательности процессов

Запуск операции загрузки данных

Последовательность процессов Demo Load Chain должна быть запланирована на запуск вашей операции загрузки BI-данных. Последовательность процессов можно запустить двумя способами:

• Использовать Data Warehousing Workbench. На рисунке 23 показана последовательность действий.

  Рисунок 23. Запуск последовательности процессов с использованием SAP Data Warehousing Workbench
  
  
  

• Использовать DataStage-задание BILoadJob. На рисунке 24 показана последовательность действий.

  Рисунок 24. Запуск последовательности процессов с использованием DataStage-задания
  
  
  

В данном примере сначала запускается DataStage-задание для активизации последовательности процессов. На рисунке 25 показано, что DataStage-задание успешно выполняется. На рисунке 26 показано, что исходные данные загружены в SAP BI.

Рисунок 25. Запуск DataStage-задания

Рисунок 26. Данные, загруженные в SAP BI

Извлечение данных из SAP BI

Фаза BW Extract Stage извлекает данные из системы SAP BI. Извлеченные данные можно передать в не-SAP приложения. Фаза BW Extract Stage основана на сервисе SAP Open Hub Service, который определяет управляемый и контролируемый процесс экспорта данных.

В данном разделе используется простое ETL-задание для демонстрации шагов по извлечению данных из системы SAP BI. На рисунке 27 показан пример задания. Задание извлекает данные из характеристики SAP BI CUSTOMER (см. рисунок 4). Это задание затем обрабатывает извлеченные данные, используя фазу DataStage Transformer Stage, и сохраняет результаты обработки в однородный файл.

Рисунок 27. DataStage-задание для извлечения данных из SAP BI

Фаза BW Extract Stage имеет редактор Stage Editor, показанный на рисунке 28. Stage Editor содержит четыре закладки для настройки различных свойств операции извлечения BI-данных.

Рисунок 28. BW Extract Stage GUI

• В закладке General создается или выбирается RFC-подключение к системе SAP BI.
• В закладке Process Chain выбирается источник данных и последовательность процессов. Операция извлечения BI-данных выполняется как процесс в последовательности процессов.
• В закладке Open Hub Destination выбирается InfoSpoke или Open Hub Destination.
• В закладке Columns отображаются определения столбцов для извлеченных данных из SAP BI.

Фаза BW Extract Stage ExtractDataFromSAPBI (см. рисунок 27) извлекает данные из системы SAP BI. Для настройки фазы BW Extract Stage нужно выполнить несколько действий. Эти действия показаны на рисунке 29 и подробно описаны в следующих разделах.

Рисунок 29. Настройка фазы BW Extract Stage ExtractDataFromSAPBI

Настройка BI Open Hub Destination и процесса передачи данных

Фаза BW Extract Stage поддерживает оба назначения (BW InfoSpoke и BI Open Hub Destination) для извлечения данных.

InfoSpoke - это центральная часть пакета Open Hub Service Pack в системе SAP BW. InfoSpoke указывает три свойства:

• InfoProvider, предоставляющий начальные данные. InfoProvider может быть InfoCube, DataStore-объект или InfoObject.
• Назначение Open Hub Destination, определяющее назначения для получения извлеченных данных. Таким назначением может быть однородный файл, таблица базы данных или RFC-назначение.
• Преобразование, которое преобразует данные из начальной формы в целевую.

Сначала необходимо выбрать InfoSpoke, до того, как его можно будет выбрать в закладке Open Hub Destination. Фаза BW Extract Stage поддерживает создание InfoSpoke и использование InfoSpoke для извлечения данных.

В системе SAP BI, назначение Open Hub Destination интегрировано в новый процесс передачи BI-данных и больше не является тесно связанным (tightly coupled) с InfoSpoke. Как показано на рисунке 30, процесс передачи данных преобразует данные из InfoProvider в Open Hub Destination. Когда данные в Open Hub Destination готовы, SAP BI уведомляет процесс DataStage RFC Server, который запускает DataStage-задание для извлечения данных из назначения Open Hub Destination. Для управления всем процессом извлечения данных создается последовательность процессов.

Рисунок 30. Блок-схема операции извлечения BI-данных

Фаза Extract Stage ExtractDataFromSAPBI (см. рисунок 27) настраивается на основе BI Open Hub Destination. В данной статье не рассматривается использование традиционного BW InfoSpoke. Процесс создания BI-артефактов для данной фазы обобщен в следующих шагах:

1. Создать и активизировать новое назначение Open Hub Destination, используя SAP transaction RSBO или Data Warehousing Workbench GUI. На рисунке 31 показано диалоговое окно для создания нового назначения Open Hub Destination DEMODEST. Для создания определений полей нового назначения Open Hub Destination выбираются атрибуты характеристики CUSTOMER. В качестве приемника данных для Open Hub Destination выбирается RFC-назначение DEMODSSRC RFC (см. рисунок 32).

   Рисунок 31. Создание нового назначения Open Hub Destination
   
   
   

   Рисунок 32. Выбор RFC-назначения
   
   
   

2. Создать и активизировать новый процесс передачи данных для преобразования данных из InfoProvider в Open Hub Destination. На рисунке 33 показано диалоговое окно для создания нового процесса передачи данных. Процесс передачи данных передает данные из атрибутов Customer в назначение Open Hub Destination DEMODEST.
   
   Рисунок 33. Создание нового процесса передачи данных
   
   
   
3. Создать и активизировать новую последовательность процессов для активизации нового процесса передачи данных. На рисунке 34 показано, что процесс передачи данных CUSTOMER > DEMODEST добавляется как процесс в последовательность процессов CUSTCHAIN.
   
   Рисунок 34. Создание и активизация последовательности процессов
   
   
   

Настройка источника данных и последовательности процессов

Источник данных и последовательность процессов настраиваются в закладке Process Chain. Источник данных - это назначение для извлеченных данных. Последовательность процессов управляет процессом извлечения данных.

На рисунке 35 в качестве источника данных выбран DEMODSSRC. Для фазы ExtractDataFromSAPBI в качестве последовательности процессов выбран CUSTCHAIN.

Рисунок 35. Закладка Process Chain

Настройка Open Hub Destination

Open Hub Destination настраивается в закладке Open Hub Destination, как показано на рисунке 37. Требуются два действия пользователя:

1. Выбрать Open Hub Destination.

   На рисунке 36 для фазы ExtractDataFromSAPBI выбрано назначение Open Hub Destination DEMODEST. Фаза принимает определения DEMODEST из BI и автоматически заполняет различные элементы управления GUI, показанные на рисунке 37.

   Поля таблицы, показанные на рисунке 37, являются частью определений DEMODEST. Эти поля преобразовываются в определение таблицы DataStage, отображаемое в закладке Column. Закладка Column для фазы BW Extract Stage аналогична закладке Column для фазы BW Load Stage, показанной на рисунке 17.

   Рисунок 36. Выбор Open Hub Destination
   
   
   

   Рисунок 37. Закладка Open Hub Destination
   
   
   

2. Обновить third-party-параметры для Open Hub Destination.

   Open Hub Destination поддерживает third-party-параметры, также как и InfoPackage. Third-party-параметры выбранного назначения Open Hub Destination настраиваются при помощи кнопки Update BW (см. рисунок 37). На рисунке 38 показан результат нажатия этой кнопки. На рисунке 39 показано, что в качестве third-party-параметров назначения Open Hub Destination DEMODEST установлены название задания BIExtractJob, последовательность процессов CUSTCHAIN и источник данных DEMODSSRC. Third-party-параметры на фазе BW Extract Stage используются так же, как и на фазе BW Load Stage.

   Рисунок 38. Обновление third-party-параметров
   
   
   

   Рисунок 39. Third-party-параметры DEMODEST
   
   
   

Выполнение операции извлечения данных

Аналогично операции загрузки данных, последовательность процессов CUSTCHAIN должна быть запрограммирована на выполнение операции извлечения данных. Она может быть запущена либо DataStage-заданием BIExtractJob, либо средой SAP Data Warehousing Workbench.

В данном примере для активизации последовательности процессов запускается DataStage-задание. На рисунке 40 показано успешное выполнение DataStage-задания, а на рисунке 41 показаны данные, извлеченные из SAP BI.

Рисунок 40. Выполнение DataStage-задания

Рисунок 41. Данные, извлеченные из SAP BI

Заключение

В данной статье мы рассмотрели, как интегрировать BI-данные SAP с другими BI-данными, используя IBM Information Server и пакет WebSphere DataStage SAP BW. Были рассмотрены процессы загрузки и извлечения данных SAP BI, а также новая функциональная возможность SAP BI - процесс передачи данных. Эти процессы проектирования были проиллюстрированы примерами в пошаговом режиме.

IBM Information Server предоставляет передовую технологию и решения по интеграции для двух других важных проблем среды SAP BI Data Warehouse:

• Качество данных. Данные, находящиеся в хранилищах данных, часто поступают из различных источников. Структура имеющихся данных часто не документирована, а их качество является плохим. Программа WebSphere Information Analyzer анализирует ваши данные и определяет их структуру и качество. Она помогает понять данные. Программа WebSphere QualityStage стандартизирует и согласовывает информацию любого типа с целью создания данных высокого качества.
• Объем данных. Часто имеется огромный объем данных, которые для среды хранилища данных должны обрабатываться регулярно. Иногда объемы данных разрастаются сверх ожидаемых пределов. Эта проблема может быть решена при использовании масштабируемой ETL-архитектуры. IBM Information Server использует преимущества технологий pipeline (конвейер) и partition (разбиение) для поддержки высокой пропускной способности. Для достижения максимальной масштабируемости, IBM Information Server может быть развернут на симметричных многопроцессорных системах (symmetric multiprocessing - SMP) и на системах с массовым параллелизмом (massively parallel processing - MPP).

В настоящее время ведутся работы над другими решениями по интеграции SAP BI, включая прямой доступ к данным и управление метаданными. Усилия концентрируются на разработке быстрого и эффективного ETL-решения для создания корпоративных транзакционных хранилищ данных с элементами данных уровня документов.

Приложение A. Терминология

Приложение B. Инструментальные средства