Использование технологии ETL в Collaborative Lifecycle Management

1. Сбор данных с помощью заданий сбора данных CLM по умолчанию

Данные периодически собираются из приложений Rational solution for Collaborative Lifecycle Management (CLM) заданиями сбора данных (заданиями ETL) и сохраняются в хранилище данных, где их можно преобразовать для представления различных взаимосвязей.

Задания сбора данных, известные как задания ETL , извлекают данные из источника, преобразуют их в соответствии с набором правил и загружают в хранилище данных. В отчетах CLM используется два разных типа ETL: 

1.1.-ETL для конкретного приложения

1.2.-ETL со звездочкой

1.1. ETL для конкретного приложения

ETL для конкретного приложения извлекают данные из хранилища данных приложения и хранилища данных Jazz Team Server, преобразуют данные для предопределенного набора таблиц данных и загружают преобразованные данные в соответствующие таблицы хранилища рабочих данных (ODS) хранилища данных.

Рис. 1. Процесс потока данных (ETL приложения)

Каждое приложение CLM предоставляет собственные файлы сбора данных со специфическими правилами для типов данных, хранимых приложением. Данные, хранимые в ODS, называются рабочими данными ; отчеты могут обращаться к этим данным для получения подробной информации. Взаимосвязи между данными, собранными из приложения, и расположение данных в ODS хранилища данных документируются в словарях данных приложения. В этих словарях можно узнать, какие значения добавлять в определение отчета или шаблон документа.

Например, в следующей таблице столбец Поле пользовательского интерфейса обозначает данные приложения, а столбцы Таблица хранилища данных и Столбец хранилища данных - расположение в хранилище данных.

Рис. 2. Таблица словаря данных RQM (столбцы Поле пользовательского интерфейса и Столбец хранилища данных выделены)

Поскольку эти данные хранятся вместе в хранилище данных, есть возможность выполнять отчеты о жизненном цикле, показывающие взаимосвязи между данными разных приложений. Например, можно выполнить отчет, показывающий, сколько тестовых наборов заблокировано дефектами.

При выполнении ETL приложения могут вызывать API REST для создания отчетов приложения. Предоставляемые данные преобразуются файлами конфигурации данных XML, создающими формат, который затем можно преобразовать файлами связей ETL.

Файлы ETL приложения хранятся вместе с приложением, чьи данные они собирают. Эти файлы используются для процессов ETL, которые создают моментальные копии данных из хранилища данных приложения, преобразуют их и загружают в хранилище рабочих данных (ODS) хранилища данных.

Можно запланировать регулярное выполнение процессов ETL приложения. Каждое приложение предоставляет предопределенный набор файлов ETL, которые собирают различные данные.

• Задания сбора данных приложения Управление изменениями и конфигурацией:
• Общие
• Задания
• Build
• SCM
• Задания сбора данных приложения Управление качеством:
• Общие
• Задания
• Управление качеством
• Задания сбора данных приложения Управление требованиями:
• Общие
• Требования
• Звезда

Во время выполнения процессы ETL используют URL ресурсов для доступа к API REST. Процессам ETL требуются входные данные в табличной форме, однако из API REST данные поступают в формате XML; поэтому после извлечения данных из API REST выполняется еще один процесс - процесс XDC. Этот процесс преобразует выходные данные API REST в табличную форму.

Если требуется настройка файлов ETL, необходимо обновить Rational Insight.

1.2. ETL со звездочкой

Процессы ETL со звездочкой отличаются от ETL приложения.

Рис. 3. Процесс потока данных. ETL со звездочкой

Процессы ETL со звездочкой извлекают данных из ODS, преобразуют их и загружают в таблицы показателей, состоящие из набора таблицы фактов и связанных параметров. Файлы Star ETL хранятся на сервере Jazz Team Server. Эти файлы содержат взаимосвязи между записями в таблицах ODS и записями в таблицах фактов и параметрах таблиц показателей. Например, таблицы показателей хранят скорости поступления и устранения дефектов.

Задания сбора данных ETL со звездочкой

• APT
• Общие
• Лицензия
• Отчеты
• Хранилище

Задания сбора данных ETL со звездочкой выполняются регулярно по расписанию. Какие записи хранилища данных заполняются данными приложения CLM, читайте в подразделе "1.3" Показатели хранилища данных, заполненные данными приложения CLM.

1.3. Показатели хранилища данных, заполненные данными приложения CLM

Процессы ETL CLM STAR загружают данные приложения CLM только в подмножество таблиц показателей хранилища данных. В таблицах этого раздела показано, какие показатели заполняются данными приложения CLM.

Поскольку данными приложения CLM заполняется только подмножество таблиц показателей хранилища данных, некоторые запросы модели FM, используемые для создания определений отчетов в Report Studio и Query Studio, не связаны с данными CLM. В этом разделе перечислены показатели, которые заполняются данными приложения CLM.

1.3.1. Показатели управления изменениями

"X" означает, что приложение предоставляет данные для показателя; "-" означает, что не предоставляет.

1.3.2. Показатели управления конфигурацией

"X" означает, что приложение предоставляет данные для показателя; "-" означает, что не предоставляет.

1.3.3. Показатели управления качеством

"X" означает, что приложение предоставляет данные для показателя; "-" означает, что не предоставляет.

1.3.4. Показатели управления требованиями

"X" означает, что приложение предоставляет данные для показателя; "-" означает, что не предоставляет.