Немногие люди будут против необходимости улучшения качества разработки программного обеспечения. Пользователи технологий, основанных на программном обеспечении, должны ожидать появления различных ошибок и дефектов, и мы считаем частые проблемы совершенно нормальным и ожидаемым явлением, особенно в мире персональных компьютеров. Однако по мере развития технологии разработки программного обеспечения мы начинаем лучше понимать, как достичь необходимого улучшения качества. Цель данной статьи - познакомить читателя с концепциями и передовым опытом в области управления тестированием.
Что такое управление тестированием?
Важной частью качества программного обеспечения является процесс тестирования и проверки корректности его работы. Управление тестированием представляет собой мероприятия по организации и управлению процессом и артефактами, необходимыми для проведения тестирования. К традиционным инструментальным средствам, используемым для этого, являются:
- Бумага и карандаш
- Текстовые редакторы
- Электронные таблицы
Более масштабное тестирование может использовать доморощенные программные решения, обычно построенные на основе электронных таблиц или баз данных, либо коммерческие приложения, такие как IBM Rational ClearQuest Test Manager или Mercury TestDirector.
Общая цель управления тестированием должна позволять группам разработчиков планировать, разрабатывать, выполнять и оценивать всю деятельность по тестированию в общем процессе разработки программного обеспечения. Сюда относятся мероприятия по координации всех действий, вовлеченных в процесс тестирования, отслеживание зависимостей и взаимоотношений между тестовыми активами (test assets) и, самое важное, определение, измерение и отслеживание показателей качества.
Аспекты управления тестированием
Управление тестированием может быть разбито на различные фазы: организация, планирование, авторинг, выполнение и составление отчетности. Ниже эти фазы рассматриваются более детально.
Организация тестовых артефактов и ресурсов является, несомненно, необходимой частью управления тестированием. Она требует организации и управления запасами элементов для тестирования вместе с различными вещами, используемыми для выполнения тестирования. Это формирует способ отслеживания группой разработчиков зависимостей и взаимодействия между тестовыми активами. Самыми широко используемыми тестовыми активами, которые нуждаются в управлении, являются:
- Тестовые сценарии
- Тестовые данные
- Тестовое программное обеспечение
- Тестовое аппаратное обеспечение
Планирование тестирования - это полный набор задач, отвечающих на вопросы зачем, что, когда и где тестировать. Причина создания того или иного теста называется мотиватором теста (test motivator) (например, необходимость проверки специального требования). То, что должно быть протестировано, разбивается на много тестовых примеров (test cases) для проекта. Для ответа на вопрос где тестировать, определяются и документируются необходимые конфигурации программного и аппаратного обеспечения. Вопрос, когда тестировать, решается путем отслеживания итераций (или циклов, или временных интервалов) тестирования.
Авторинг тестирования представляет собой процесс определения конкретных шагов, необходимых для завершения данного теста. Этот процесс решает вопрос, как что-то будет тестироваться. Именно здесь некие абстрактные тестовые примеры развиваются в более подробные шаги тестирования, которые, в свою очередь, станут тестовыми сценариями (test scripts) (либо ручными, либо автоматизированными).
Выполнение тестирования влечет за собой запуск тестов путем объединения последовательностей тестовых сценариев в набор тестов. Это продолжение ответа на вопрос, как тестировать (более конкретно, как провести тестирование).
Составление отчетности по тестированию отвечает на вопрос, как различные результаты тестирования анализируются и соотносятся между собой. Отчетность используется для определения текущего состояния процесса тестирования проекта, а также общего уровня качества приложения или системы.
Тестирование генерирует много информации. Из этой информации можно извлечь показатели (metrics), которые определяют, измеряют и отслеживают качество проекта. Затем эти показатели качества нужно передать в какой-нибудь коммуникационный механизм, используемый для остальных показателей проекта.
Самые типичные генерируемые при тестировании данные, которые часто служат источником для показателей качества, - это дефекты. Дефекты не являются статическими, а меняются во времени. Кроме того, некоторые дефекты часто связаны друг с другом. Эффективное отслеживание дефектов имеет решающее значение как для групп тестирования, так и для групп разработчиков.
Другие факторы в управлении тестированием
Кроме программных и аппаратных артефактов и ресурсов тестирования необходимо управлять группой тестирования. Управление тестированием должно координировать действия всех участников проекта, вовлеченных в процесс тестирования. Это требует контроля пользовательских защиты и полномочий для участников тестирования и артефактов. Для проектов, распределенных по нескольким центрам разработки или по нескольким группам разработчиков (что быстро становится нормой), необходима также организация координации центров и групп.
Конкретный процесс тестирования проекта будет иметь очевидное влияние на управление тестированием. Для итеративного проекта управление тестированием должно обеспечивать фундамент и руководство действиями по планированию, выполнению и оценке тестирования в итеративном режиме. Исходя из этого, стратегия тестирования должна следовать среде управления тестированием.
Связанные дисциплины разработки программного обеспечения
Хотя все дисциплины в разработке программного обеспечения имеют отношение к дисциплине тестирования, некоторые из них особенно важны для тестирования:
- Управление требованиями
- Управление изменениями
- Управление конфигурациями
Управление требованиями - это предшественник большого объема работ по тестированию, обеспечивающий значительное количество мотиваций для тестирования и требований для проверки. Процесс управления конкретными требованиями к проекту может иметь решающее влияние на процесс управления тестированием. Одной из аналогий этой взаимосвязи может быть эстафета, где первый бегун представляет управление требованиями, а следующий бегун, получающий эстафетную палочку, представляет управление тестированием. IBM® Rational® RequisitePro® является инструментальным средством для поиска, документирования, организации и отслеживания требований.
Управление изменениями влияет на все части разработки программного обеспечения, но отслеживаемыми изменениями, наиболее релевантными для работ по тестированию, являются дефекты. Дефекты часто являются основным каналом передачи информации между тестированием и разработкой. Числа и показатели, определенные из дефектов, также часто используются как единицы измерения качества. ClearQuest представляет собой мощное, хорошо настраиваемое инструментальное средство для управления многочисленными типами изменений и работ в цикле разработки программного обеспечения.
Управление конфигурациями важно для управления тестированием по причине слежения за тем, какие сборки в какое время необходимо тестировать. Управление конфигурациями контролирует сборки, а также среды, отслеживаемые системой управления тестами для выполнения тестирования. IBM® Rational® ClearCase® является ведущим инструментальным средством управления конфигурациями. Дополнительная информация приведена на странице продукта IBM® developerWorks® Clearcase.
Проблемы управления тестированием
Одним из способов подвести итог выполнения задач управления тестированием является ответ на следующие вопросы:
- Зачем нужно тестировать?
- Что нужно тестировать?
- Где выполнить тестирование?
- Когда выполнить тестирование?
- Как провести процесс тестирования?
Хотя это может выглядеть достаточно понятным на высоком уровне, существует много препятствий, которые часто возникают в типичном процессе разработки программного обеспечения. Эти проблемы описываются ниже.
Недостаточно времени для тестирования
За исключением некоторых специализированных или очень ответственных приложений, очень мало программных проектов имеют достаточное количество времени в жизненном цикле разработки, для того чтобы достичь высокого уровня качества. Очень часто почти неминуемые задержки в программном проекте переносятся на и так короткий "цикл тестирования". Даже лучшие проекты, очень вероятно, имеют жесткие временные ограничения на выполнение тестирования. Результатами этого препятствия для управления тестированием являются постоянно меняющиеся приоритеты и переключение задач, а также уменьшенный объем данных для результатов тестирования и показателей качества.
Недостаточно ресурсов для тестирования
Кроме недостатка времени очень часто сложно получить нужные ресурсы, доступные для выполнения требуемых работ по тестированию. Ресурсы могут совместно использоваться другими задачами или другими проектами. В то время как аппаратные ресурсы для тестирования могут добавить задержки и трудности, проблему недостатка человеческих ресурсов может быть даже еще труднее решить. Результаты этого препятствия для управления тестированием приблизительно такие же, как и для временных ограничений.
Группа тестирования не всегда расположена в одном месте
Все чаще в наши дни ресурсы для тестирования могут быть доступны, но не в одном географическом местоположении. Использование талантливых разработчиков по всему миру становится общепринятым, но это вносит значительные технические препятствия. Как группам с разных континентов совместно использовать артефакты и сохранить согласованность без задержек и разногласий, влияющих на весь проект? Как можно максимизировать эффективность проекта при географически распределенной разработке?
Хотя существует много стратегий тестирования, проверка корректности требований обычно имеет главный, наивысший приоритет при тестировании, которое должно быть завершено. Это требует наличия полных, недвусмысленных и пригодных для тестирования требований. Управление не вполне точными требованиями может привести к более серьезным проблемам при выполнении тестирования. Использование такого инструментального средства как RequisitePro может значительно улучшить управление требованиями, а также содействует разработке хороших требований.
Для того чтобы управление тестированием было эффективным, должен иметься прозрачный доступ к самым последним (меняющимся) системным и бизнес-требованиям. Этот доступ должен быть не только к формулировке требований, но также к приоритету, состоянию и другим атрибутам. Кроме того, это требует предельной координации и взаимодействия между группами, разрабатывающими требования, и группами, выполняющими тестирование. Это взаимодействие должно идти в обоих направлениях, чтобы гарантировать качество.
Сохранение синхронизации с процессом разработки
Еще одним необходимым для обеспечения качества программного обеспечения типом взаимодействия групп является взаимодействие между тестировщиками и разработчиками. За исключением критических дефектов почти традицией в разработке программного обеспечения стало то, что работа группы тестировщиков касается только самих тестировщиков. Однако эта работа имеет большое значение для того, чтобы каждый (особенно разработчики) понимал, каков текущий уровень качества и то, что уже было протестировано, а что нет.
Для того чтобы группы тестировщиков использовали свое драгоценное время эффективно, они должны всегда быть в курсе постоянных изменений в коде, сборках и средах. Управление тестированием должно точно идентифицировать, какую сборку тестировать, а также правильные среды, в которых нужно выполнять тестирование. Тестирование неправильных сборок (или функций) приведет к трате времени и может серьезно повлиять на график выпуска проекта. Тестировщики должны также знать, какие дефекты уже известны (и, следовательно, не должны тестироваться повторно), а какие уже исправлены. Тестировщики должны сообщать разработчикам об обнаруженных дефектах вместе с достаточной информацией, полезной для их устранения.
Составление отчетов с корректной информацией
Работа по тестированию полезна только тогда, когда можно выразить состояние тестирования и некоторые показатели качества проекта. Генерирование отчетов является достаточно простой процедурой, но представить корректную информацию (в нужное время и всем заинтересованным лицам) может быть сложнее, чем кажется, по нескольким причинам:
- Если имеется слишком мало информации, заинтересованные участники проекта не будут полностью понимать проблемы, влияющие на качество. Кроме того, это повлияет на восприятие ими группы тестировщиков - ее значимость уменьшится.
- Если имеется слишком много информации, значение и воздействие значимой информации становятся незаметными.
- Существует много технических препятствий, которые могут затруднить совместное использование информации различными группами участников проекта в различных месторасположениях.
В результатах, отображаемых в отчетах, важен также способ размещения информации и ее формат (то есть, информация может предоставляться на основе инструментальных средств, в браузере или в виде документов). Эффективность освоения заинтересованными участниками проекта результатов и информации о качестве будет снижена при наличии технических или других ограничений в размещении или формате отчетов. Данные должны быть представлены в ясной и логичной форме, выражающей нужное значение, а не в схеме, ограниченной инструментальными средствами или технологией. Следовательно, для управления тестированием важно рассмотреть необходимость обеспечения гибкости и возможности предоставления широкого диапазона форматов отчетности.
Что такое показатели качества?
Одной из основных целей группы тестирования является оценка и определение качества, но как точно измерить качество? Существует много средств для этого, и они различны для разных типов систем или приложений, а также специфичны для проекта разработки. Все эти показатели качества должны быть понятны и недвусмысленны, для того чтобы избежать неправильной интерпретации. Еще важнее то, что показатели должны быть пригодны для сбора и хранения, в противном случае они могут не стоить затрат или могут быть неполными или неточными.
Рекомендации по управлению тестированием
Ниже приведены общие рекомендации, которые могут улучшить процесс управления тестированием программного обеспечения.
Начинайте работу по управлению тестированием как можно раньше
Хотя это может показаться самым очевидным предложением, немногие программные проекты действительно применяют эту концепцию. Естественно, чаще всего идентификация ресурсов тестирования начинается на ранней стадии. Однако многие работы по анализу тестирования (например, идентификация критических, высокоприоритетных тестовых примеров) могут и должны начинаться как можно скорее. Как только разрабатывается достаточное для потока событий количество вариантов использования, могут быть порождены тестовые процедуры. Если проект не использует требования вариантов использования, то тесты все равно могут быть порождены из проверки исходных требований. Как можно более ранняя разработка тестов смягчает неизбежно наступающие временные ограничения.
Тестируйте в итеративном режиме
Тестирование программного обеспечения должно быть итеративным процессом, генерирующим ценные тестовые артефакты и результаты на ранних стадиях всего цикла жизни проекта. Это следует из первой рекомендации о раннем начале процесса тестирования - итеративный процесс тестирования вынуждает рано обращать внимание на управление тестированием. Управление тестированием обеспечивает это путем организации различных артефактов и ресурсов в итерации. Этот основанный на оценке рисков подход может гарантировать, что с изменениями, задержками и другими непредвиденными препятствиями, которые возможны в цикле жизни проекта, можно будет справиться очень эффективно.
Повторное использование тестовых артефактов
Повторное использование тестовых артефактов в проекте (или в разных проектах) может заметно улучшить эффективность группы тестирования. Оно может значительно снизить давление ограничений времени и ресурсов. К повторно используемым артефактам относятся не только объекты автоматизации тестирования, но также тестовые процедуры и другая информация планирования. Для эффективного использования таких артефактов, управление тестированием должно выполнить значительную работу по организации и определению различной информации о тестировании, используемой для данного проекта. Повторное использование всегда требует некоторой предусмотрительности при создании артефактов, и этот принцип может повсюду применяться в управлении тестированием.
Используйте тестирование, основанное на требованиях
Тестирование может быть разделено на два общих подхода:
- Проверка того, выполняет ли что-нибудь то, что от него ожидается.
- Попытка определить, что может нарушить работу чего-нибудь.
Хотя последнее исследовательское тестирование важно для обнаружения трудно предсказуемых сценариев и ситуаций, приводящих к ошибке, проверка основных требований, вероятно, является наиболее критичной оценкой, выполняемой группой тестировщиков.
Основанное на требованиях тестирование является основным способом проверки приложения или системы, который применим как для традиционных требований, так и для требований, основанных на вариантах использования. Основанное на требованиях тестирование имеет тенденцию быть менее субъективным, чем исследовательское тестирование, а также может обеспечить и другие преимущества. Некоторые участники группы тестировщиков могут усомниться или даже признать негодными результаты исследовательского тестирования, но они не могут поставить под сомнение тщательно разработанные тесты, которые напрямую проверяют требования. Еще одним преимуществом является то, что требуемые действия по тестированию могут быть более просто вычислены (отличие от исследовательского тестирования, которое, зачастую, ограничивается только доступным временем).
Можно также предоставить различные статистические данные, которые могут быть полезными показателями качества, например, объем тестирования. Порождение тестовых вариантов из требований и, что более важно, отслеживание этих взаимоотношений по мере изменения ситуации может быть сложной задачей, которая должна быть обработана при помощи инструментальных средств. Возможности RequisitePro и управления тестированием в ClearQuest обеспечивают готовое решение, удовлетворяющее этим потребностям.
Ограничением для этого процесса является то, что он зависит от квалифицированных системных требований, а план управления требованиями должен быть очень эффективным. Исследовательское тестирование, с другой стороны, может быть более специализировано. Оно меньше зависит от других участников группы тестировщиков, а это иногда может привести к уменьшению концентрации действий по тестированию на важных задачах обоснованных требований. Поскольку общие работы по тестированию должны включать смесь различных подходов, основанное на требованиях тестирование не должно игнорироваться.
Используйте ресурсы удаленного тестирования
Для смягчения влияния недостатка ресурсов или просто для максимизации использования персонала вы должны воспользоваться любыми ресурсами, которые имеются в вашем распоряжении, независимо от их месторасположения. В настоящее время ресурсы могут быть распределены географически (часто по разным континентам). Это требует тщательного и эффективного координирования для получения максимальной отдачи от удаленно расположенных тестировщиков и других людей, вовлеченных в управление тестированием. Здесь могут существовать значительные технические трудности, а потому необходимы соответствующие инструментальные средства. Возможности управления тестированием в ClearQuest с MultiSite являются средством, упрощающим координирование при географически распределенном тестировании.
Нужно использовать Web-клиент или автоматически реплицируемые данные? Это два доступных решения, которые делают возможным совместную работу удаленных исполнителей. Первое является легким и относительно простым, но существует потенциальное ограничение - время реакции сети, особенно при доступе к разным уголкам земного шара. Для удаленного доступа ограниченного числа пользователей или для ограниченной функциональности это хорошее решение. Однако для ситуаций с большим количеством людей, находящихся в разных местах и формирующих общую виртуальную группу тестировщиков, вам понадобится иметь копии данных на локальных серверах для максимизации скорости работы. Это также означает, что вам понадобится простой и цельный способ автоматической синхронизации данных во всех месторасположениях. Вот здесь можно использовать ClearQuest MultiSite для управления тестированием.
Определение и выполнение гибкого процесса тестирования
Хороший, повторяемый процесс может помочь вам понять текущее состояние проекта и, поскольку проект становится более предсказуемым, куда он направляется. Однако различные проекты будут иметь различные специализированные требования для тестирования, поэтому процесс управления тестированием, автоматизирующий потоки задач, должен быть гибким и настраиваемым. Процесс должен быть повторяемым (для обеспечения предсказуемости), но что более важно, - он должен быть пригоден для улучшений. Должна быть обеспечена возможность достаточно легко выполнять редактирование процесса, включая настройку во время итераций, так чтобы его можно было оптимизировать, исходя из изменившихся требований.
Определение процесса с потоками работ для управления членами группы не дает так уж много преимуществ, если нельзя заставить каким-либо образом ему следовать. Насколько жестко это делать, зависит от организации и проекта. Программные проекты во многих организациях в настоящее время должны подчиняться различным положениям, например, SOX и HIPPA. Некоторые требуют контролируемости изменений, ведения истории проекта и другие жесткие проверки соответствия, такие как электронные подписи (e-signatures). Независимо от того, требует управление тестированием вашего проекта строгого следования процессу, либо использует более бессистемный подход, вам нужен механизм для определения и осуществления чего-либо. Одним из таких инструментальных средств управления тестированием, обеспечивающим все эти возможности, является ClearQuest.
Координация и интеграция с остальными этапами разработки
Тестирование программного обеспечения традиционно остается слишком отделенным от остальной разработки. Частично это происходит по вполне обоснованной причине - необходимости сохранить объективность оценки и повысить шансы обнаружения ошибок, которые разработчики могут пропустить. Эта потребность особенно очевидна при приемке тестирования, когда лучшими тестировщиками являются те, кто не замечает дизайна и факторов реализации. Однако такая специфическая потребность представляет только один из многих аспектов тестирования программного обеспечения и не должна создавать преград для разработки качественных программ.
Тестирование программного обеспечения должно быть интегрировано с другими стадиями процесса разработки программ, особенно такими дисциплинами, как управление требованиями и управление изменениями. Сюда относятся: жизненно важное взаимодействие между различными ролями и действиями, передача всей важной информации и интегрированные инструментальные средства, поддерживающие все это. Без такой координации качество будет ухудшаться из-за пропущенных или неправильно понятых требований, непроверенного кода, пропущенных дефектов и отсутствия информации о текущем уровне качества программного обеспечения.
Работа оценивается настолько, насколько она воспринимается, а то, как она воспринимается, зависит от передаваемой информации заинтересованным сторонам. Хорошее управление тестированием должно обеспечивать полные и правильные отчеты со всей релевантной информацией. Текущее состояние в реальном режиме времени, измерения показателей и результаты должны быть доступны во всех подходящих форматах для всех заинтересованных членов группы, занимающихся проектом разработки программного обеспечения.
Отчеты должны также быть чем-то большим, нежели просто традиционные статические документе. При продолжающихся постоянных изменениях необходимо иметь легко обновляемое отображение информации в различных форматах для правильной ее передачи. Все это позволит членам группы, выполняющим другие роли в проекте, принять правильные решения, реагируя на изменения по мере развития проекта.
Информация из различных программных дисциплин не разделяется полностью. В данной статье уже упоминались важные взаимоотношения между управлением тестированием и другими дисциплинами, такими как требования, управление изменениями и конфигурациями, разработкой. Поэтому важно, чтобы информация из управления тестированием могла легко комбинироваться с другими данными проекта. Современная технология делает возможными консолидированные виды, объединяющие все показатели проекта в инструментальную панель, так что бы можно было определить общее состояние проекта. Инструментальные средства тоже предоставляют возможность четко показать и оценить взаимоотношения между тестированием, разработкой и другими артефактами проекта.
Фокусируйтесь на показателях и результатах
Выберите показатели качества для проекта и определите, как их можно эффективно и точно измерить. Управление тестированием - это место, где определяются показатели, метрики, используемые для измерения этих показателей, и способ сбора этих данных. Многие задачи тестирования могут не иметь очевидных критериев завершения. Определение специфической выводимой информации и измерений текущего состояния и изменений будет более точно определять действия и задачи при проведении тестирования. Учет специфических показателей и метрик для тестирования не только помогает отслеживать состояние и результаты, но также позволяет избежать поспешного сбора разных данных для составления отчета.
Сохранение результатов управления тестированием в простом общем репозитории или базе данных гарантирует, что их можно будет проанализировать и использовать более эффективно. Это также содействует управлению версиями артефактов (включая результаты), что устраняет проблемы, связанные с устаревшей или неверной информацией. Все это поможет участникам проекта понять, на какой стадии он находится, и принять решения на основе результатов тестирования.
Автоматизируйте для экономии времени
Управление тестированием - это большой процесс, а его многочисленные задачи могут быть очень трудоемкими. Чтобы сэкономить время можно применить инструментальные средства для автоматизации, или, по крайней мере, частичной автоматизации многих задач. Хотя простые инструментальные средства, такие как текстовые редакторы и электронные таблицы, обеспечивают хорошую гибкость, специализированные средства автоматизации тестирования больше предназначены для этого и обеспечивают отличные возможности сэкономить время. К задачам, которые значительно выигрывают при их автоматизации, относятся:
- Отслеживание взаимоотношения тестирования с требованиями и другими мотиваторами тестирования.
- Организация и повторное использование вариантов тестирования.
- Документация и организация тестовых конфигураций.
- Планирование и координация выполнения тестирования разных сборок и приложений.
- Подсчет объемов тестирования.
- Различные задачи составления отчетов.
Специализированные инструментальные средства и автоматизация нужных задач в управлении тестированием значительно повысит его ценность и выгоды.
Важным шагом для улучшения качества программного обеспечения является использование методик управления тестированием вместо применения старомодных, основанных на документах методов. Управление тестированием выполняет различные функции, включая планирование, авторинг, выполнение тестирования и составление отчетов, а также решает, как тестирование согласуется и интегрируется с остальной деятельностью в процессе разработки программного обеспечения. Существует множество раздражающих и неизбежных проблем в управлении тестированием, например, недостаток времени и ресурсов, географическое удаление групп тестировщиков, проблемы связывания тестирования с требованиями и разработкой, а также предоставление нужной информации в отчетах.
Хорошей новостью является то, что существует большой передовой опыт, который может способствовать решению этих проблем. Как можно более раннее начало действий по тестированию (и в итеративном режиме), концентрация на показателях и результатах, координация и интеграция с остальным процессом разработки предохранят работы по тестированию от превращения в запоздалые мысли. Максимизация повторного использования тестовых артефактов, использование удаленных ресурсов тестирования, определение и осуществление гибкого процесса тестирования и автоматизация помогут преодолеть ограничения в ресурсах.
Одними из инструментальных средств для реализации этих методик являются возможности управления тестированием в ClearQuest. Здесь непосредственно решаются многие специфические технические проблемы, например, работа с иностранными группами через ClearQuest MultiSite. Предоставляется также гибкая интегрированная среда для создания корректных решений по управлению тестированием для любых потребностей проекта или организации.