Запуск и анализ тестов программных продуктов при помощи инструмента управления тестированием Rational ClearQuest

Научитесь осуществлять управление тестированием с новыми функциями и возможностями IBM Rational ClearQuest V 7.0 TestManager, который теперь выполняет функции управления тестированием, ранее выполняемые IBM Rational TestManager. В данном руководстве описаны основные принципы установки, конфигурирования, планирования и запуска различных типов тестов при помощи нового инструмента. В руководстве рассказывается, как использовать запросы ClearQuest, а также возможности работы с отчетами для анализа результатов тестирования.

Введение

Управление тестированием при помощи IBM Rational ClearQuest

В версии 7.0 IBM Rational ClearQuest значительно изменилась стратегия IBM Rational в области подхода к управлению тестированием. В предыдущих версиях функциональные возможности управления реализовывались в инструменте IBM Rational TestManager, который включал планирование тестирования, выполнение и анализ результатов тестирования для организаций, занимающихся обеспечением качества.

Начиная с версии 7.0 управление тестированием осуществляет ClearQuest. ClearQuest предоставляет такие же основные функциональные возможности как и Rational TestManager, но обладает и некоторыми дополнительными функциями, которые решают проблемы организации в области обеспечения качества. Среди преимуществ можно выделить следующие:

• Web-интерфейс
• Интеграция с Eclipse
• Более тесная интеграция отслеживания ошибок
• Поддержка корпоративных баз данных
• Расширенные возможности работы с отчетами
• Возможность при помощи запросов устанавливать соответствия через eSignatures и AuditTrails
• Поддержка географически разделенных команд тестирования при помощи ClearQuest MultiSite

Обзор руководства

Цель данного руководства - познакомить с основными функциональными возможностями управления тестированием, представленными в версии 7.0 IBM Rational ClearQuest. В данном руководстве мы рассмотрим следующие этапы работы:

• Инсталляция и конфигурирование ClearQuest и соответствующих пакетов
• Планирование тестов, в том числе создание реестра тестовых ресурсов, плана тестирования и наборов тестовых данных
• Выполнение различных типов тестов
• Анализ тестирования на основе возможностей запросов и отчетов ClearQuest

Целевая аудитория

Данное руководство предназначено для пользователей, которые впервые работают с ClearQuest. В их число входят как пользователи, которые апробируют ClearQuest впервые, так и те, которые уже используют ClearQuest для управления изменениями и хотели бы воспользоваться новыми возможностями инструмента управления тестированием.

Время на выполнение руководства

После того, как Вы установите это ПО, Вам потребуется 30-60 минут, чтобы выполнить все задания.

Подготовка к работе с руководством

Единственное необходимое условие для работы с руководством - наличие программного продукта IBM Rational ClearQuest и времени для выполнения заданий. Чтобы объяснить все возможности ClearQuest, руководство содержит zip-файл с примером теста, который Вы будете использовать, чтобы ознакомиться с различными концепциями. (См. Рисунок 1.) Установите файлы, выполнив следующие шаги:

1. С помощью архиватора, например WinZip, извлеките zip-файл на диск C (C:\). Файлы будут извлечены в директорию CQTM Test Scripts.
2. Для работы с ClearQuest необходимо, чтобы данная директория была доступна по сети Microsoft Windows как общий ресурс. Чтобы все имели доступ к данной директории, откройте Windows Explorer
3. В Windows Explorer правой кнопкой мыши выберите директорию C:\CQTM Test Script File Locations, а затем выберите Sharing and Security.
4. Если Вы никогда не открывали ресурсы для общего доступа со своей машины, перейдите к следующему шагу. Если же вы уже это сделали, то перейдите к шагу 7.
5. В диалоговом окне CQTM Test Scripts Properties выберите вкладку Sharing, нажмите на следующий текст: If you understand the security risks but want to share files without running the wizard, click here (Если Вы осознаете угрозу безопасности, но хотите открыть доступ к файлам для общего использования не запуская мастера, нажмите сюда).
6. В диалоговом окне Enable File Sharing выберите Just enable file sharing и нажмите OK.
7. В диалоговом окне CQTM Test Scripts Properties выберите Share this folder on the network. Согласитесь с именем по умолчанию CQTM Test Scripts
8. Хотя это и не обязательно, выберите Allow network users to change my files, так как ClearQuest записывает результаты тестирования в общую папку.
9. Нажмите OK, чтобы закрыть диалоговое окно CQTM Test Scripts Properties.
10. В конце, нажмите Yes, подтвердив предупреждение о том, что имя папки длиннее 12 символов.

Рис. 1. Диалоговое окно CQTM test scripts

Инсталляция ClearQuest и создание базы данных

Для работы с данным руководством никаких предварительных знаний о IBM Rational ClearQuest не требуется. Вы пройдете через все этапы, от инсталляции до отчетов. В первом разделе Вы выполните первые два этапа. Во-первых, Вы установите ClearQuest, а затем создадите базу данных для хранения данных ClearQuest.

Инсталляция IBM Rational ClearQuest

Установите IBM Rational ClearQuest, выполнив следующие шаги:

1. Запустите setup.exe, а затем при помощи мастера выполните desktop installation.
2. Оставьте все значения по умолчанию. Вы можете установить ПО в любую директорию и добавлять любые компоненты, например, интерфейс ClearQuest Web. В данном руководстве они не описываются, но Вы можете установить их сразу для дальнейшего использования.
3. На панели configuration wizard нажмите Done. Изменение конфигурации на данном этапе не требуется.
4. Если Вы получили пробный программный продукт с пробным ключом, по окончанию инсталляции Вас попросят ввести лицензионный пробный ключ. Зарегистрированные пользователи могут с помощью мастера указать путь к их текущему серверу лицензий.

Создание хранилища схемы и примера базы данных

Выполняя следующие шаги, создайте базу данных:

1. Запустите ClearQuest Maintenance Tool.
2. В ClearQuest Maintenance Tool выберите Schema Repository > Create.
3. Выберите MS_ACCESS, а также выберите место на жестком диске, где будет храниться схема. В руководстве используется путь C:\CQTM Tutorial\CQTM_SchemaRepo.mdb.
4. В поле Existing Connections измените имя на CQTM
5. Нажмите Next, а затем согласитесь с предупреждением о расположении хранилища в папке общего доступа.
6. Нажмите Next, чтобы принять кодовую страницу для данных ClearQuest. Она будет отличаться, в зависимости от языка операционной системы. В Канаде и США значением по умолчанию будет: 1252 (MS Windows Latin 1).
7. На следующем экране выберите ячейку Create sample database, а затем Enterprise Schema.
8. Введите имя базы данных: CQTST. Если желаете, можете ввести описание.
9. Нажмите Next.
10. Снова выберите тип примера базы данных MS_ACCESS, а затем выберите имя физической базы данных Physical Database Name C:\CQTM Tutorial\CQTM_Data.mdb.
11. Нажмите Finish, чтобы завершить процесс, и снова согласитесь с предупреждением о размещении данных в папке совместного доступа.
12. После просмотра статусных сообщений нажмите Done, а затем нажмите Exit the ClearQuest Maintenance Tool.

Запустите ClearQuest и войдите в систему

Клиенты IBM Rational ClearQuest Существует несколько интерфейсов и клиентов IBM Rational ClearQuest. Изучая группу программ, которая была создана, когда Вы установили ClearQuest, можно выявить двух клиентов ClearQuest. Первый клиент - ClearQuest Eclipse, а второй - ClearQuest для клиентов Windows. Примечание: Также есть и третий - плагин ClearQuest Eclipse и, конечно же, web-клиент ClearQuest. В группе программ нет иконок ни для одного из них. Разница между клиентами Eclipse и плагином Eclipse в том, что клиент Eclipse предоставляет свою собственную оболочку Eclipse. Плагин предназначен для пользователей, которые уже установили Eclipse и лишь хотят включить функциональные возможности ClearQuest в существующие оболочки. Пользователи, которые не хотят инсталлировать полностью клиента ClearQuest или которые используют аппаратное обеспечение Apple, могут получить доступ к данным ClearQuest через web-интерфейс ClearQuest. Для пользователей Linux и Unix также есть родные клиенты Unix и Linux для ClearQuest.

В данном руководстве Вы будете пользоваться клиентом ClearQuest Eclipse, который является самостоятельным инструментом Eclipse. Все, что Вы будете делать, можно сделать и через плагин Eclipse, однако навигация по меню немного отличается. Большая часть задач осуществляется при помощи представления ClearQuest Test Manager, которое доступно только в клиентах Eclipse. Более того, не пытайтесь выполнить задания при помощи ClearQuest Windows или других родных для данной операционной системы клиентов. Выполните следующие шаги (также см. Рисунок 2):

1. Нажмите Start > All Program > IBM Rational > IBM Rational ClearQuest > ClearQuest, чтобы запустить ClearQuest
2. Дополнительно: Нажмите иконку Overview на экране Welcome. Здесь Вы можете просмотреть 15-минутный видеоролик о Rational ClearQuest TestManager. Затем закройте экран Welcome. Если хотите, сюда можно вернуться позже через Help > Welcome.
3. Выберите File > Database > Manage connections.
4. Выберите набор CQTM database и нажмите Add Connection....
5. Оставьте по умолчанию хранилище схемы (Schema Repository) CQTM и нажмите Next.
6. Введите user ID: admin. Пароль не требуется.
7. В диалоговом окне Connect выберите Remember the password, а затем нажмите OK, чтобы выполнить подключение.
8. Вы увидите представление Test Manager, хотя оно и не содержит данных.

Рис. 2. IBM Rational ClearQuest

Теперь Вы подсоединены к базе данных CQTST, которую Вы создали ранее, и теперь можно выполнять задания руководства.

Конфигурация проекта тестирования

Прежде чем начать создавать планы тестирования и наборы тестовых данных, необходимо выполнить однократную установку и конфигурацию. Вы должны предоставить ClearQuest основную информацию, например расположение, где Вы хотели бы хранить тестовые ресурсы.

Реестр ресурсов

Реестр ресурсов будут содержать все Ваши ресурсы. Здесь будут находиться все ваши планы тестирования, содержащие все наборы тестовых данных. Здесь будут храниться все наборы тестов, а также пути файлов для тестов IBM Rational Manual Tester, IBM Rational Functional Tester и IBM Rational Performance Tester. Кроме того, сюда сохраняются все результаты тестирования.

См. Рисунок 3 и Рисунок 4. Выполните эти шаги, чтобы создать реестр ресурсов:

1. Правой кнопкой мыши выберите Asset Registries в Test Manager, а затем выберите New Asset Registry.
2. Введите CQTM Tutorial, а затем your sample test assets description.
3. Нажмите OK, чтобы создать реестр ресурсов

Рис. 3. Диалоговое окно создания реестра ресурсов

Рис. 4. Созданный реестр ресурсов с планами тестирования, наборами тестов, итераций и путями к файлам.

Конфигурации и свойства конфигураций

Что если я не буду использовать конфигурации? Хотя конфигурации - мощное средство IBM Rational ClearQuest, не все группы тестируют множественные конфигурации. Для ClearQuest необходима хотя бы одна базовая конфигурация и хотя бы одно свойство конфигурации для запуска теста. Если вам нужна только одна конфигурация, создайте одно свойство и одну конфигурацию.

ClearQuest TestManager признает, что большинство групп по тестированию запускают тестирование на различных конфигурациях. В качестве примера, группы по качеству запускают одни и те же тесты на разных операционных системах и их версиях, например Microsoft Windows XP, Microsoft Windows Server или Linux. В качестве варианта, группе может потребоваться протестировать различные аппаратные конфигурации, например машину с 512 MB RAM и другую машину с 2 GB RAM. Какой бы ни была конфигурация, ClearQuest TestManager может записывать различные свойства конфигурации (например операционная система, память, место на диске и так далее), чтобы вы могли сгруппировать свойства в обычные конфигурации.

Конфигурации и свойства конфигурации не являются частью реестра ресурсов. Тем не менее, к ним можно организовать общий доступ через реестры ресурсов. Преимущество в том, что Вам необходимо ввести информацию только один раз, вместо того, чтобы переделывать конфигурацию для каждого реестра ресурсов.

Создание свойств конфигурации

Выполняя следующие шаги, создайте основные свойства конфигурации (также см. Рисунок 5):

1. Разверните папку Configurations, чтобы перейти в папку Configuration Attributes.
2. Щелкните правой кнопкой мыши на папке Configuration Attributes и выберите New Configuration Attribute.
3. Введите Operating System в поле Name и нажмите OK, чтобы создать свойство.
4. Щелкните правой кнопкой мыши на созданном свойстве и выберите New Configuration Value.
5. Введите Linux в поле Name и нажмите OK, чтобы присвоить значение свойству.
6. Повторите последние два шага, введите Windows XP в поле Name.
7. Правой кнопкой мыши щелкните на папке Configuration Attributes и выберите New Configuration Attribute.
8. Введите Memory в поле Name и нажмите OK.
9. Щелкните правой кнопкой мыши на созданном свойстве и выберите New Configuration Value.
10. Введите 2 GB в поле Name и нажмите OK, чтобы задать значение свойства.
11. Повторите последние два действия, введя 512 MB в поле Name.

Рис. 5. Свойства конфигурации

Создание конфигураций

1. Щелкните правой кнопкой мыши на папке Configurations и выберите New Configuration.
2. Введите имя Name: Minimum Memory Windows XP.
3. Рядом с Configuration Attributes List нажмите Add.
4. В диалоговом окне Browse Record Type нажмите Search, чтобы просмотреть все свойства конфигурации, которые только что создали.
5. Удерживая клавишу CTRL выберите Windows XP operating system и 2 GB Memory.
6. Нажмите OK, чтобы закрыть диалоговое окно Browse.
7. Нажмите OK, чтобы закрыть диалоговое окно Create (TMConfiguration).
8. Повторите операцию, чтобы создать конфигурацию для Windows XP Recommended Windows XP Configuration. Снова одновременно выберите операционную систему Windows XP и объём памяти 512 MB. (См. Рисунок 6).

Рис. 6. Созданные конфигурации и свойства конфигурации

Планирование тестирования

Создание реестра ресурсов и конфигурация - это простые, выполняемые за один раз, операции, которые Вы обычно делаете на ранних стадиях создание тестового проекта. Тем не менее, планирование тестирования - это процесс, который выполняется на протяжении всего проекта.

В следующем разделе Вы создадите многоуровневый план тестирования. План тестирования - организованная структура наборов тестовых данных. Наборы тестовых данных - конкретные тесты или проверки, которые Вы хотите выполнить на Вашей системе. Таким образом, после того, как Вы создали планы тестирования, Вы вставите наборы тестовых данных в планы тестов.

В конце концов Вы свяжете конфигурации, которые создали в предыдущем разделе, с наборами тестовых данных. Простой набор тестовых данных - абстрактное понятие, которое означает то, что Вы хотите тестировать. Связывая конфигурацию с наборами тестовых данных, Вы создадите сконфигурированный набор тестовых данных, которые определяют, не только что Вы хотите тестировать, но и где Вы хотите запустить свои тесты (на какой платформе или с какой конфигурацией).

Создание планов тестирования

Первый шаг процесса планирования тестирования - создание плана тестирования, который будет содержать все ваши наборы тестовых данных. Есть много способов организации планирования тестирования и наборов тестовых данных. Вместо долгого чтения о всех "за" и "против" в организации планирования, Вы просто воспользуетесь очень простой структурой функциональной декомпозиции для создания дочерних тестовых планов для различных функциональных областей приложения. При использовании данной структуры архитектура плана тестирования будет соответствовать архитектуре приложения.

Выполните следующие шаги, чтобы создать основную структуру тестового плана:

1. Правой кнопкой мыши выберите каталог Test Plans в CQTM Tutorial asset registry, которые Вы создали ранее, а затем выберите New Test Plan.
2. Введите заголовок Master Functional Test Plan.
3. Нажмите OK, чтобы создать план тестирования.

Теперь, когда Вы создали основной план тестирования, Вы можете создать планы тестирования некоторых функциональных областей приложения Classics Online (см., описания примера приложения на врезке).

1. Правой кнопкой мыши щелкните на Master Functional Test Plan и выберите New Test Plan.
2. Введите заголовок Order Placement Tests.
3. Нажмите OK, чтобы создать план тестирования.
4. Повторите процедуру, чтобы создать план тестирования для Administrative Function Tests.
5. Повторите процедуру, чтобы создать план тестирования для Order Review Tests.

Рис. 7. ClearQuest поддерживает иерархические планы тестирования для более удобного планирования тестирования и организации наборов тестовых данных

Создание наборов тестовых данных

Пройдемся по всему процессу тестирования Цель данного руководства - пройти через весь процесс управления тестированием. Чтобы выполнить весь процесс за отведенное время, мы не будет подробно вдаваться в некоторые вопросы. Несмотря на это, есть моменты, которые Вас могут заинтересовать. Например, в следующем упражнении, Вы создадите несколько очень простых наборов тестовых данных, но если Вы щелкнете на вкладках тестовых данных, Вы увидите, что можно ввести много различной информации, например: Test Motivator: Здесь Вы можете прикрепить файл поддержки или документацию, которая содержит подробную информацию о наборе тестовых данных. Вы можете прикрепить файл любого типа, например, электронную таблицу или скриншоты, чтобы сделать текстовые данные более содержательными. Legacy data: Эти поля соответствуют полям ClearQuest TestManager в соответствии с принципом обратной совместимости. Notes: Это простые текстовые поля, в которые можно ввести любые общие примечания для наборов тестовых данных. Requirements: ClearQuest может взаимодействовать с IBM Rational RequisitePro, инструментом контроля исходных требований Rational. Если запустить RequisitePro, можно связать требования с Вашими тестами, что впоследствии позволит вам соединить отчет о тестировании с вашими требованиями. Это даст вам полную картину жизненного цикла приложения, от определения требований до тестирования и ошибок.

После того, как Вы установили структуру плана тестирования, следующий шаг - введение тестовых данных в план. Наборы тестовых данных определяют каждую из проверок, которые Вы собираетесь выполнить на вашей системе. (См. Рисунок 8.)

Создайте набор тестовых данных для каждого плана тестирования, выполнив следующие шаги:

1. Щелкните правой кнопкой мыши на Order Placement Tests, а затем выберите New Test Case.
2. Введите заголовок: Place Valid Order.
3. Под Priority выберите 1 - Critical.
4. Теперь правой кнопкой мыши щелкните на Administrative Function Tests и выберите New Test Case.
5. Введите заголовок: View Customer List.
6. Для Priority выберите 3 - Medium.
7. Правой кнопкой мыши щелкните на Administrative Function Tests и снова выберите New Test Case.
8. Введите заголовок: View Existing Order Status.
9. Для Priority выберите 2 - High.

Рис. 8. Планы тестирования с соответствующими тестовыми данными 

Связывание сценариев теста с тестовыми данными

План тестирования и тестовые данные составляют логический план тестирования. Возможно, Вы считаете, что план тестирования - это список наборов тестовых данных для выполнения? Но как Вы запустите эти тесты? И как Вы узнаете, пройден тест или нет? Ответ: при помощи вкладки Execution.

Вкладка Execution используется, чтобы связать набор тестовых данных со сценарием теста. Сценарий теста выдает затем отчет об удаче или неудаче тестирования.

ClearQuest TestManager поддерживает выполнение сценариев теста, созданных при помощи автоматизированных инструментов IBM Rational Functional Tester, IBM Rational Manual Tester и IBM Rational Performance Tester. Также поддерживается Test and Performance Tool Platform или TPTP-совместимые тесты, например тесты TPTP JUnit.

• Rational Functional Tester - автоматизированный инструмент регрессионного тестирования, который записывает действия пользователя по отношению к приложению в виде сценария для последующего воспроизведения и проверки системы.
• Rational Manual Tester - неавтоматизированный инструмент для разработки и выполнения теста. Его можно использовать для записи шагов тестирования и действий, которые Вы хотите выполнить в приложении, а затем для запуска тестов. Затем во время выполнения теста он автоматически вводит и проверяет данные.
• Rational Performance Tester - инструмент, которые помогает оценивать время ответа системы для Web-приложений и корпоративных приложений планирования ресурсов (ERP). Он моделирует одновременные действия пользователей системы и замеряет время ответа системы, чтобы помочь зафиксировать проблемы с производительностью и узкие места до выпуска конечного продукта.

Установка места размещения файлов

Прежде чем связать сценарий тестирования с наборами данных для тестирования, необходимо указать ClearQuest места размещения файлов ваших тестов. (См. Рисунок 9.)

Выполняя следующие шаги, установите места размещения файлов для сценариев Rational Manual Tester и Rational Functional Tester:

1. Щелкните правой кнопкой мыши на папке File Locations в реестре ресурсов, а затем выберите New File Location.
2. Нажмите Next, чтобы принять CQTM Tutorial в качестве реестра по умолчанию.
3. Введите Functional Tester Tests в поле Name.
4. Укажите путь к файлу: C:\CQTM Test Scripts\Functional Tester\Functional Tests.
5. Укажите путь к журналу: C:\CQTM Test Scripts\Functional Tester\Functional Tests_logs.
6. Нажмите Finish для создания путей.
7. Повторите процесс, чтобы создать путь к файлу со следующими параметрами:

• Имя места размещения файла: Manual Tester Tests
• Путь к файлу: C:\CQTM Test Scripts\Manual Tester\Manual Tester Scripts
• Путь к журналу: C:\CQTM Test Scripts\Manual Tester\Manual Tester Logs

Рис. 9. Пути к файлам указывает ClearQuest, где искать сценарии автоматизации теста

Установление связей между сценариями теста и наборами тестовых данных

Теперь ClearQuest знает, где находятся сценарии. Выполните следующие шаги, чтобы связать сценарии Rational Functional Tester и Rational Manual Tester с наборами тестовых данных (см. также Рисунок 10):

1. Правой кнопкой мыши нажмите на наборе тестовых данных Place Valid Order и выберите Modify.
2. Перейдите ко вкладке Execution.
3. Нажмите кнопку Browse.
4. Выберите тип теста Rational Functional Tester.
5. Разверните каталог пути к файлу Functional Tester Tests.
6. Выберите сценарий Place_Valid_Order.
7. Нажмите Finish, чтобы завершить соединение.
8. Нажмите OK, чтобы закрыть набор тестовых данных.
9. Обратите внимание на изменение иконки набора тестовых данных. Теперь в верхнем правом углу иконки набора тестовых данных находится маленькая иконка сценария.
10. Повторите процесс, чтобы связать тест Functional Tester под названием View_Existing_Order с набором тестовых данных View Existing Order Status.
11. Измените тип теста на Rational Manual Tester.
12. Повторите процесс, чтобы связать тест Manual Tester под названием View_Customer_List с набором тестовых данных View Customer List.

Рис. 10. Сценарий теста, связанный с набором тестовых данных

Сценарий теста просмотра существующего заказа (View Existing Order) соединен с набором тестовых данных View Existing Order Status. (В данном случае ID Вашей записи - CQTST00000047, но он может быть и другим.)

Выполнение теста

Многое еще впереди... Клиенты, которые мигрируют с Rational TestManager заметят, что модель выполнения ClearQuest не настолько совершенна, как у ClearQuest TestManager - пока. В настоящее время ClearQuest поддерживает основное последовательное выполнение тестов. Многие клиенты запросили дополнительные функции, и группы разработчиков IBM Rational расширяют набор возможностей в этой области, которые будут реализованы в ближайшем будущем.

Преследуя цель создать универсальное руководство, мы не предполагаем, что у вас уже установлены какие-либо инструменты выполнения тестовых сценариев, например Rational Manual Tester или Rational Functional Tester. Вот почему следующий раздел касается только выполнения теста. Сначала Вы запустите отдельный набор тестовых данных, а затем создадите тестовую последовательность. Первый шаг - вне зависимости от того, как выполняются тесты - связать конфигурации с наборами тестовых данных. (См. Рисунок 11.)

Связывание конфигураций с наборами тестовых данных

Наборы тестовых данных - абстрактный признак. Набор тестовых данных представляет собой нечто, что должно быть протестировано, но сами набор нельзя запустить. Набор тестовых данных становится исполняемым, когда Вы связываете его с конкретной конфигурацией. Вы уже создали две конфигурации, работая с руководством, следующий шаг - связать тестовые данные с конфигурациями.

При помощи следующих шагов свяжите конфигурацию с набором тестовых данных:

1. Удерживая клавишу control, выберите последовательно три набора тестовых данных, которые Вы создали в предыдущем шаге: Place Valid Order, View Customer List и View Existing Order Status.
2. Правой кнопкой мыши нажмите на наборе тестовых данных Place Valid Order (или на любом другом наборе тестовых данных), а затем выберите Add Configured Test Case.
3. В диалоговом окне Add Configured Test Cases выберите Recommended Windows XP Configuration.
4. Нажмите OK, чтобы добавить конфигурацию к трём наборам тестовых данных.
5. Повторите процедуру, добавив конфигурацию Minimum Memory XP только к набору тестовых данных Place Valid Order.

Рис. 11. Процесс планирования теста завершен, теперь сконфигурированные наборы тестовых данных готовы к запуску 

График итераций тестов

Конфигурации - это то, где надо запустить тестовые данные. В ClearQuest Вы также определяете когда запускать набор тестовых данных. То, когда запускаются набор тестовых данных, называется итерацией. (См. Рисунок 12.)

Если Вы знакомы с IBM Rational Unified Process или RUP, то понятие итераций не будет для Вас новым. Пользователи Rational TestManager также знакомы с понятием итерации. Идея итерации - определить, когда или на каком этапе разработки тестовые данные могут быть запущены.

Итерации индивидуальны для каждой организации и вашего процесса разработки. Чтобы не усложнять процедуру, выполните следующие шаги, чтобы создать три этапа разработки или итераций:

1. Правой кнопкой мыши щелкните на папке Iterations и выберите New Iteration.
2. Введите имя Name: Inception.
3. Введите дату начала Start Date: 1 января 2007 г.
4. Введите дату окончания End Date: 31 января 2007 г.
5. Нажмите OK, чтобы создать итерацию.
6. Повторите процесс, чтобы создать итерацию под именем Elaboration, которая запускается с 1 февраля 2007 г. до 28 февраля 2007 г.
7. Повторите процесс, чтобы создать итерацию под именем Construction, которая запускается с 1 марта 2007 г. до 31 марта 2007 г.

Рис. 12. Итерации

Запустите один сконфигурированный набор тестовых данных

Для такого важного шага процесс запуска или выполнения теста удивительно прост. Вы просто щелкаете правой кнопкой мыши на configured test case, а затем нажимаете Execute. Чтобы выполнить сконфигурированные тестовые данные, должен быть установлен инструмент автоматизации. Если он не установлен, опция Execute будет недоступна.

Примечание:

Не все клиенты ClearQuest могут выполнять тестирование. Клиенты Windows и Web не могут запускать сценарии. Клиенты Linux могут выполнять только сценарии Rational Functional Tester Java. Клиент ClearQuest, который используется в данном руководстве, может выполнять только сценарии Rational Manual Tester. Только плагин Eclipse может выполнять сценарии всех типов. Поэтому, для всех пользователей, которые будут запускать сценарии прямо из ClearQuest, рекомендуется использовать плагин Eclipse в качестве основного клиента ClearQuest.

Создание последовательности сконфигурированных тестовых данных

Тестовые последовательности зависят от конфигурации Когда вы создаете тестовую последовательность, Вам необходимо указать для неё конфигурацию. Это важный выбор, потому что последовательность будет выполнять только сконфигурированные наборы тестовых данных, связанные с данной конфигурацией.

Вы вряд ли будете часто выполнять отдельные сконфигурированные наборы тестовых данных (хотя это и возможно). Гораздо более вероятно, что вы соберёте серию из несколько сконфигурированных наборов тестовых данных для последовательного выполнения. В терминологии ClearQuest это называется тестовая последовательность. (См. Рисунок 13.)

Выполняя следующие шаги, создайте тестовую последовательность сконфигурированного набора тестовых данных:

1. Правой кнопкой мыши щелкните на папке Test Suites и выберите New Test Suite.
2. На вкладке Main введите заголовок: Smoke Test Suite.
3. На вкладке Execution выберите Recommended Windows XP Configuration.
4. Нажмите OK, чтобы создать последовательность сконфигурированных наборов тестовых данных.

Выполните следующие шаги, чтобы добавить сконфигурированные наборы тестовых данных к тестовой последовательности:

1. Правой кнопкой мыши щелкните на только что созданной последовательности Smoke Test Suite и выберите Configure....
2. Нажмите Add....
3. Появится список сконфигурированных наборов тестовых данных, которые соответствуют конфигурации последовательности.
4. Выберите all of the test cases, нажав first test case, а затем удерживая клавишу Shift до тех пор, пока не выберете последний набор тестовых данных.
5. Нажмите OK, чтобы добавить тестовые данные.
6. Нажмите на последний сконфигурированный набор тестовых данных, View Existing Order Status.
7. Нажмите Move Up, чтобы передвинуть эти тестовые данные на вторую позицию. Тестовые сценарии выполняются в том порядке, в каком они представлены в диалоговом окне.
8. Нажмите Finish, чтобы завершить конфигурацию тестовой последовательности.

Рис. 13. Сконфигурированные наборы тестовых данных будут выполняться в том порядке, в каком они отображаются в диалоговом окне.

Запуск тестовой последовательности

Как и при запуске отдельных сконфигурированных наборов тестовых данных, все, что надо сделать, чтобы запустить выполнение последовательности - это нажать правой кнопкой мыши на тестовой последовательности, а затем выбрать Execute. Опять же, в соответствии с целями руководства, Вы не будете выполнять тест. В следующем шаге Вы лишь смоделируете его выполнение, импортируя результаты из тестов, которые уже были выполнены для Вас лабораториями тестирования IBM Rational.

Импорт результатов тестирования

Импорт формата журнала тестирования Формат файла журнала тестирования заимствован у платформы Test and Performance Tools Platform (TPTP). Сам файл - это заархивированный (при помощи алгоритма zip) XML-файл. Открыть файл и просмотреть содержимое XML можно при помощи какого-нибудь архиватора, например Winzip. Зачем? Потому что это очень эффективная функция для получения результатов в ClearQuest. Если Вы используете инструмент, который не поддерживается ClearQuest для выполнения тестов, Вы можете таким образом экспортировать результаты из этих инструментов в ClearQuest для сводного отчета о тестировании.

На этом этапе обычно нужно просто запустить сконфигурированные наборы тестовых данных или тестовые последовательности, и результат автоматически будет передан в ClearQuest в качестве записей журнала тестирования. Тем не менее, так данное руководство предполагает, что вы не используете эти инструменты, воспользуемся альтернативным методом заполнения журнала тестирования ClearQuest.

ClearQuest имеет функцию импорта, которая позволяет связать запись журнала тестирования с сконфигурированным набором тестовыми данными. Запись журнала тестирования содержит два ключевых параметра: отметку о времени и дате и заключение. Заключения бывают следующие - Pass (тест пройден), Fail (тест не пройден) или Inconclusive (тест не завершён). Запись в журнале тестирования - ключевой ресурс. При сравнении со всеми другими записями она дает подробную информацию о проекте тестирования.

Выполните следующие шаги, чтобы импортировать записи журнала тестирования для сконфигурированных наборов тестовых данных:

1. Щелчком правой кнопки мыши выберите сконфигурированный набор тестовых данных Place Valid Order - Recommended Windows XP Configuration, а затем выберите импорт журнала Test Log....
2. В качестве типа теста Test Type выберите Rational Functional Tester.
3. Выберите журнал тестирования: Functional Tests_logs > Place_Valid_Order > null.
4. Введите имя: Build 1.
5. Нажмите Finish, чтобы импортировать запись.
6. В Test Results правой кнопкой мыши нажмите на импортированную запись и выберите Commit. 

Анализ результатов тестирования

Наконец, начал час расплаты. В этот момент Вы видите результаты Вашей упорной работы по записи и выполнению наборов тестовых данных. На этом этапе Вы сможете выполнять запросы и отчеты для окончательной диагностики "состояния здоровья" Вашего проекта. Отчеты можно запускать столько раз, сколько хотите, чтобы получить отчет о состоянии, содержащий самую свежую информацию.

Вы также можете поделиться отчетами и результатами запроса с другими членами команды. Пользователи, которые сконфигурировали ClearQuest Web, могут предоставить Web-доступ ко всем отчетам. Пользователи, которые не настроили эту функцию ClearQuest, могут просто экспортировать и рассылать результаты по e-mail другим членам команды.

Вне зависимости от того, каким образом Вы передаете информацию коллегам, ClearQuest дает Вам всю информацию, необходимую для доступа к тестируемым приложениям.

Переход к примеру базы данных

Вместо того, чтобы импортировать сотни тестовых журналов, в данном руководстве Вы будете анализировать предварительно наполненную результатами базу данных, чтобы сэкономить время. Этот пример базы данных также включает несколько созданных в лаборатории IBM Rational специальных запросов, которые вы можете использовать в собственных проектах. (См. Рисунок 14.)

Выполните следующие шаги, чтобы соединиться с базой данных.

1. Выберите File > Database > Manage connections.
2. Нажмите Add Database Set....
3. В поле Name введите Tutorial и выберите MS_ACCESS как Vendor.
4. Нажмите Next и перейдите к C:\CQTM Test Scripts\CQTM Sample Data\SampleMaster.mdb.
5. Нажмите Add Connection....
6. Выберите Schema Repository с именем Tutorial, а затем нажмите Next.
7. Введите ID пользователя user ID: jan (с учетом регистра) и нажмите Finish.
8. В диалоговом окне Connect введите пароль: jan. Выберите Remember the password и нажмите OK.
9. Нажмите Close, чтобы закрыть диалоговое окно ClearQuest Connection Management.

Рисунок 14. Установленное соединение с базой данных Sample Data

ClearQuest предоставляет диаграммы, запросы и отчеты

ClearQuest предоставляет три формата для анализа данных: диаграммы, запросы и отчеты. (См. Рисунок 15.) Мы рассмотрим примеры всех трёх.

Выполните следующие шаги, чтобы перейти к инструментам анализа:

1. Перейдите ко вкладке ClearQuest Navigator.
2. Сверните соединение, с которым работали admin, CQTM@CQTST.
3. Разверните соединение jan, Tutorial@AUCT.
4. Откройте папку общего доступа Queries и найдите папки TM Charts, TM Queries и TM Reports. Все следующие шаги будут осуществляться внутри этих папок.

Рис. 15. Папки TM Charts, TM Queries и TM Reports содержат аналитические инструменты, идущие с ClearQuest

Запуск диаграмм ClearQuest TestManager

Выполните следующие шаги, чтобы ознакомиться с диаграммами, которые содержатся в ClearQuest (например, см. Рисунок 17 и Рисунок 1):

1. Разверните папку TM Charts.
2. Дважды щелкните на диаграмме Execution - Verdict Distribution.
3. Выделите реестр ресурсов Auction.
4. Нажмите OK, чтобы запустить отчет
5. Дважды щелкните на вкладке Clear Quest Chart: Execution - Verdict Distribution, чтобы полностью развернуть отчет.

Рис. 16. Данная диаграмма выдает графическое представление всех результатов об успешном/неуспешном прохождении тестов в выбранном реестре ресурсов. Это глобальная сводка высшего уровня всех тестов.

1. Дважды щелкните на вкладке Clear Quest Chart: Execution - Verdict Distribution, чтобы вернуть вкладку к нормальному размеру.
2. Закройте вкладку Clear Quest Chart: Execution - Verdict Distribution.
3. Запустите диаграмму CTC - Iteration Distribution дважды щелкнув на имени диаграммы. Разверните диаграмму, если необходимо.

Рис. 17. Данная диаграмма дает графическое представление всех сконфигурированных наборов тестовых данных, которые помечены номером итерации. Этот отчет можно использовать, чтобы увидеть на каком этапе выполняется большинство тестов.

Запуск отчетов ClearQuest TestManager

Формирование отчета Отчеты ClearQuest создаются при помощи инструмента отчетов Crystal Reports из Business Objects. Чтобы узнать больше о создании и модификации отчетов, обращайтесь в компанию "Интерфейс Ltd.".

Тогда как диаграммы содержат только графическую информацию, отчеты могут содержать как графические, так и текстовые данные.

Чтобы проверить отчеты, которые идут с ClearQuest, выполните следующие шаги:

1. Сверните папку TM Charts
2. Разверните папку TM Reports
3. Дважды щелкните на отчете Verdict Summary by Build, чтобы запустить его.
4. Выберите Asset Registry Auction.
5. Нажмите OK, чтобы запустить отчет
6. Дважды щелкните на вкладке Verdict Summary by Build, чтобы развернуть отчет в полный размер.

Рис. 18. Отчет о результатах тестирования, сформированный при помощи Build

Отчеты ClearQuest Reports могут содержать как графические, так и текстовые данные. На Рисунке 19 сводка результатов тестирования от Build выводит отчёт об успешном/неуспешном завершении тестирования различных сборок. Отчеты ClearQuest можно редактировать при помощи специального ПО редактирования отчётов Crystal Reports, которое доступно в Business Objects.

Запуск запросов ClearQuest TestManager

Запросы не предлагают графическое представление информации, как в диаграммах или отчетах, но это, пожалуй, самый мощный инструмент в инструментарии анализа данных. Запросы легко создать и запустить, они предоставляют информацию любого уровня.

Выполните следующие шаги, чтобы запустить некоторые запросы, включённые в ClearQuest TestManager:

1. Сверните папку TM Reports
2. Разверните папку TM Queries
3. Дважды щелкните на Configured Test Cases - Verdict History, чтобы запустить запрос.
4. Выберите Asset Registry Auction.
5. Щелкните OK, чтобы запустить отчет.

Рис. 19. Configured Test Cases - запрос Verdict History

Запрос Configured Test Cases - Verdict History выдает список результатов выполнения для каждого сконфигурированного набора тестовых данных. Вы можете использовать этот запрос, чтобы проследить, было ли неуспешное завершение данного сконфигурированного набора тестовых данных.

Создание собственного запроса

Вполне вероятно, что вам понадобится создать собственные запросы, чтобы проанализировать данные. Представьте, что руководитель проекта придёт к Вам и попросит список всех наборов тестовых данных, которые завершились ошибкой. Что Вы ему скажете? ClearQuest содержит всю информацию, но как её извлечь?

Выполните следующие шаги и создайте запрос, чтобы просмотреть, выполнение каких сконфигурированных наборов тестовых данных завершилось неуспешно.

1. Правой кнопкой мыши щелкните на папке Personal Queries соединения jan, Tutorial@AUCT и выберите New Query.
2. Введите имя запроса Failing Tests.
3. Выберите тип записи TMConfiguredTestCase, чтобы запустить запрос, содержащий информацию о сконфигурированных наборах тестовых данных.
4. Сначала Вы должны установить фильтр запросов, чтобы выбрать самые последние сконфигурированные наборы тестовых данных, которые завершаются неудачей. Чтобы сделать это, необходимо их отфильтровать поля Test Log Verdict и Test Log Latest. Сначала разверните каталог TestLogs папки TMConfiguredTestCase, а затем дважды щелкните, чтобы выбрать поля Latest и Verdict.
5. Нажмите Next, чтобы определить значения для фильтрации по этим полям.
6. Разверните фильтр And справа, а затем разверните поле TestLogs Verdict. Убедитесь, что в ячейке Define Filters содержится оператор Equal.
7. Нажмите Values и выберите Fail.
8. Нажмите OK, чтобы закрыть диалоговое окно.
9. Выберите фильтр TestLogs.Latest и убедитесь, что установлен оператор Equal.
10. В поле Values введите True. Установка этих двух фильтров означает, что Вы увидите только те записи для сконфигурированных наборов тестовых данных, при которых большинство тестирований завершились неудачно.
11. Нажмите Next, чтобы выбрать поля, которые будут являться частью запроса.
12. Дважды щелкните на поле ID, чтобы добавить его в список отображения. В сортирующем столбце выберите Ascending.
13. Дважды щелкните в поле Headline, чтобы добавить его в список отображения.
14. Пролистайте вниз и дважды щелкните в поле TestLogs > Verdict, чтобы добавить его в список отображения.
15. Нажмите Finish.
16. Теперь запрос составлен и отобразится в персональной папке запросов.
17. Дважды щелкните на query, чтобы увидеть результаты (Рисунок 20).

Рис. 20. Запрос наборов тестовых данных, завершившихся неудачей

Запрос выводит список всех сконфигурированных наборов тестовых данных, завершившихся неудачей в самое последнее время. Дважды щелкнув на любой записи, Вы можете увидеть её описание.

Изучение запросов, включенных в ClearQuest

Вы увидите, что в папке Personal Queries есть несколько запросов. Это запросы, созданные тестировщиками лаборатории IBM Rational для Вашего обучения. Многие записи содержат информацию из записей различного типа. В папке Integrated Requirement-Defect-TestCase Queries, в качестве примера, Вы найдете записи, которые соотносят наборы тестовых данных с требованиями, а затем с ошибками. Используйте эти запросы и изучайте их, чтобы узнать, каким образом ClearQuest может предоставить вам всю необходимую информацию для тестирования вашего ПО и отслеживания проектов тестирования.

Повторение и следующие шаги

В этом руководстве вы изучили большое количество материала. Начав с нуля, Вы создали план тестирования и наборы тестовых данных. Вы создали конфигурации и итерации, научились запускать тесты ClearQuest и импортировали результаты тестовых данных. Мы преследовали цель подвести Вас к такому этапу, на котором Вы сможете превратить все данные по Вашему проекту в полезную информацию. Вы сделали это на этапе анализа, выполняя и проверяя запросы, диаграммы и отчеты ClearQuest. Затем Вы создали запросы для извлечения необходимой Вам информации.

Вы только что завершили основное обучение работе с ClearQuest TestManager, но это весьма поверхностные знания. Мы не затронули eSignatures, журнал регистрации, совместное использование данных с удаленными сайтами при помощи ClearQuest MultiSite и ClearQuest Web. Вы не настраивали поля, формы или действия. Когда вы будете готовы, или если вам понадобится более полная информация, можно ещё многому научиться.

В этом и заключается вся прелесть IBM Rational ClearQuest. Новички могут воспользоваться предложенной конфигурацией и быстро начать работу. Тем же, кто собирается воспользоваться всем богатством функций этого ПО, ClearQuest предлагает массу различных возможностей.