Информационные системы являются неотъемлемой, критически важной частью бизнес-процессов любой организации, одним из инструментов достижения стратегических целей и обретения конкурентных  преимуществ. Поэтому вопросы надежности и качества программного обеспечения, лежащего в их основе, приобретают первостепенное значение.

Качество информационных систем контролируется тщательным тестированием, начиная с самых ранних этапов проекта по их разработке и до ввода системы в промышленную эксплуатацию.

Центр тестирования "Интерфейс" предлагает полный комплекс услуг по тестированию информационных систем и их компонентов: настольных, мобильных и веб-приложений, серверных компонентов.

Специалисты Центра тестирования "Интерфейс" строят свою работу на основе лучших мировых практик и стандартов. Мы имеем опыт выполнения работ по тестированию в проектах с различными жизненными циклами, как итерационными, так и традиционными. Мы готовы активно участвовать в разработке вашей системы, рецензируя проектные артефакты, чтобы качество системы можно было эффективно проверить.

Для выполнения тестирования мы применяем большое количество современных подходов и методов, что позволяет контролировать множество аспектов качества информационных систем. Благодаря использованию автоматизированных средств тестирования от известных  вендоров мы достигаем существенного повышения производительности по сравнению с ручными методами. Эффективное управление созданием и развертыванием тестовых стендов в облаке позволяет нам быстро производить всестороннее тестирование систем в различных окружениях.

Эффективное управление проектами по тестированию повышает прозрачность и способствует формированию доверия между "Интерфейс" и нашими заказчиками.

Услуги по тестированию

Центр тестирования "Интерфейс" предлагает услуги по подготовке и выполнению полного цикла тестирования информационных систем или его отдельных этапов, которые включают:

• восстановление требований и архитектуры системы;
• рецензирование существующих требований, архитектуры, планов и методик испытаний;
• разработка стратегии и методов тестирования;
• планирование тестирования;
• проектирование тестовых примеров;
• разработка ручных и автоматизированных сценариев;
• подготовка тестовых данных;
• создание тестовых стендов;
• выполнение  тестирования;
• анализ результатов тестирования, подготовка отчетов для заказчика.

Глубокая экспертиза и проектный опыт позволяют Центру тестирования "Интерфейс" выполнять проекты любой сложности по обеспечению качества  информационных систем.

Наши заказчики

Центр тестирования Интерфейс предлагает свои услуги:

• организациям государственного и коммерческого сектора - заказчикам работ по созданию информационных систем;
• компаниям, специализирующимся на аутсорсинге разработки программного обеспечения;
• компаниям-разработчикам коробочных программных продуктов;
• компаниям-интеграторам информационных систем;
• компаниям, оказывающим услуги тестирования программного обеспечения (на условиях субподряда).

Преимущества аутсорсинга

Аутсорсинг деятельности по тестированию программного обеспечения в Центр тестирования "Интерфейс" позволяет вам:

• использовать знания и опыт команды высококвалифицированных специалистов в области тестирования;
• избежать необходимости создания и обучения собственной команды тестирования, а направить усилия на основную  деятельность организации;
• повысить качество программного обеспечения за счет проведения независимого тестирования;
• осуществлять приемку работ у субподрядчиков на основе измеримых результатов;
• подключить дополнительные организационные ресурсы для тестирования, когда своих уже не хватает.

Наши принципы

Специалисты Центра тестирования "Интерфейс" нацелены на выполнение проектов по  тестированию информационных систем в четком соответствии с базовыми принципами:

• следование методологиям и стандартам;
• прозрачность управления проектами;
• тесное взаимодействие с заказчиками и разработчиками на протяжении всего проекта;
• постоянное совершенствование знаний и навыков, применение лучших компетенций в интересах заказчика;
• конфиденциальность данных и информации заказчика;
• ориентация на долгосрочное сотрудничество;
• повышение эффективности проектных работ для достижения наилучшего результата;
• высокая экспертиза в методологии и инструментах тестирования.

Цели тестирования

 

Информационные системы (ИС) должны обладать уровнем качества, который гарантирует непрерывную поддержку бизнес-процессов организации. Качество информационной системы определяется характеристиками ее функциональности, удобства использования, удобства сопровождения, надежности, эффективности, портируемости.

Получить достоверную информацию о качестве ИС позволяет тестирование -  анализ и/или испытания информационной системы на ее соответствие функциональным и не функциональным требованиям.

На основании результатов тестирования заказчик и разработчик могут:

• принять решение о готовности системы к промышленной эксплуатации;
• получить объективную информацию о текущем качестве информационной системы и ее компонентов до их запуска в промышленную эксплуатацию;
• добиться полного соответствия создаваемой информационной системы требованиям заинтересованных лиц и соответствия условиям заданной эксплуатационной среды.

Тестирование позволяет избежать крайне нежелательных последствий и получить ряд преимуществ:

Для заказчика информационной системы

• избежать урона репутации организации, финансовых и временных потерь, связанных с некорректной работой информационной системы в процессе ее промышленной эксплуатации, добиться устранения последствий дефектов программного обеспечения;
• выполнить требования российских и международных регуляторов (например, ФЗ 152 "О персональных данных");
• нивелировать риски для бизнеса организаций (финансовые потери, утечка конфиденциальной информации, саботаж пользователей из-за неудовлетворенности работой системы или приложения и т.п.), которые могут возникнуть из-за сбоев в работе системы или приложения;
• вывести продукт или услугу на рынок без опоздания и связанных с ним убытков;
• не отстать от конкурентов;
• принять систему у исполнителя;

Для разработчика информационной системы (исполнителя проекта аутсорсинга разработки):

• избежать доработок за свой счет;
• получить репутацию надежного поставщика решений и новые заказы;
• уложиться в сроки и бюджет проекта;
• для генерального подрядчика проекта - обеспечить приемку компонентов ИС, которые разрабатываются субподрядчиками;
• сдать систему заказчику;
• уменьшить затраты на сопровождение и доработки;
• получить обратную связь от заказчика и субподрядчиков;
• интегрировать в разрабатываемую систему сторонние компоненты.

Для пользователей:

• удобство использования;
• необходимую функциональность.

Объект тестирования

 

"Интерфейс" предлагает услуги по комплексному контролю качества элементов информационных систем различного уровня и типа:

• элементы информационной системы любого уровня: система в целом, подсистемы, компоненты и отдельные функции или классы;
• компоненты информационной системы различных типов: настольные, мобильные и веб-приложения, серверные компоненты и базы данных;
• пользовательские интерфейсы компонентов различных типов: настольные, мобильные и веб-интерфейсы;
• исходный код программного обеспечения.

Специалисты Центра тестирования "Интерфейс" выполняют проекты тестирования информационных систем, основанных на широком спектре технологий:

• по типу инфраструктурного ПО (WebSphere MQ, TIBCO, Software AG Methods, SOA, BPM, SOAP, REST);
• по типу интерфейсов пользователя (веб-интерфейсы - JavaScript, AJAX, Flash, HTMLS и др., интерфейсы настольных приложений - Java-интерфейсы, .NET-интерфейсы, QT-интерфейсы);
• по типу ОС (мобильные ОС - Android, iOS; серверные ОС - Linux, AIX и др.);
• по типу базы данных (Oracrle, MsSQL, DB2);
• по языкам программирования (JAVA, .NET, PHP, Perl, Python);
• и др.

Подготовка к тестированию

Для полноценного тестирования информационных систем необходимы четко сформулированные требования и описание архитектуры системы.

Специалисты "Интерфейс" помогают заказчикам подготовить информационную систему и проектную документацию к проведению полноценного тестирования. Для этого может быть выполнено восстановление требований и архитектуры системы, а также проведение рецензирования существующих документов с требованиями и описаниями архитектуры.

Восстановление и рецензирование требований и архитектуры системы с целью оценки их пригодности для тестирования необходимы в тех случаях, когда:

• требования и проектная документация на систему отсутствует или не актуальна;
• требования и проектная документация на информационную систему присутствует, но не обладает необходимыми свойствами для полноценного тестирования.

При отсутствии данных документов  тестирование не сможет дать ожидаемых результатов по оценке качества информационной системы, так как не определены сами критерии качества.

В дальнейшем восстановленные требования и описания архитектуры могут использоваться заказчиком не только для целей тестирования, но и для выстраивания процесса сопровождения информационной системы, внесения изменений и доработок, переноса системы на новые платформы и т.д.

Лучшие практики тестирования

Для достижения наилучших результатов по тестированию информационных систем работа специалистов "Интерфейс" основывается на лучших практиках:

Независимое тестирование. Выделение тестирования информационной системы в виде отдельного вида деятельности в проекте, с выполнением работ по тестированию командой, которая не занимаются разработкой данной системы.
Раннее тестирование. Тестирование на ранних этапах разработки позволяет устранять ошибки и недочеты, пока стоимость их исправления еще не стала большой. Для тестирования могут использоваться прототипы системы или исполняемые модели.
Итерационное тестирование.
Укороченный цикл "определение требований -  проектирование - разработка - тестирование" позволяет разработчикам более оперативно получать обратную связь по вопросам качества информационной системы, не откладывая исправление ошибок на последние фазы проекта.
Подготовка к тестированию в процессе разработки.  Планирование, проектирование тестовых примеров и разработка тестовых сценариев параллельно с разработкой системы способствует лучшему взаимодействию и пониманию между аналитиками, разработчиками и специалистами по тестированию, что в свою очередь приводит  к созданию более качественного продукта.
Тестирование на основе требований. Привязка тестовых примеров к требованиям позволяет команде тестирования проверять действительно важные характеристики системы, сформулированные в виде требований, обеспечивать полноту покрытия требований тестовыми примерами, а также легче обновлять тестовые примеры и сценарии при изменении требований.  
Тестирование на основе рисков. Из-за больших масштабов современных систем часто экономически не целесообразно проводить полное тестирование системы. В этой ситуации важно выделять наиболее критические  характеристики системы, привносящие наибольшие риски, и тестировать в первую очередь эти характеристики.

Разработка на основе тестов.
Разработка тестовых примеров и сценариев до начала разработки позволяет разработчикам не только понимать, что им необходимо сделать, но и как это будет проверено. Четко определенные критерии успеха позволяют разработчика более быстрым и коротким путем прийти к цели.
Непрерывная интеграция. Подход, в котором интеграция компонентов информационной системы не откладывается на последние этапы, а производится на регулярной основе, начиная с самых ранних этапов проекта. Это делает возможным проведение интеграционного и системного тестирования на ранних этапах проекта.

Жизненный цикл тестирования

Центр тестирования  "Интерфейс" предлагает услуги по тестированию информационных систем в процессе разработки/модификации, а также ранее разработанных информационных систем. Тестирование в процессе разработки/модификации системы может проводиться как итерационным, так и традиционным (последовательным) способом.

Итерационное тестирование. В этом случае специалисты "Интерфейс" очень плотно взаимодействуют с командой разработчиков и аналитиков, глубоко интегрируя жизненный цикл тестирования в жизненный цикл разработки. На каждой такой итерации может проводиться тестирование одного или нескольких уровней: модульное, компонентное, интеграционное и системное.
Традиционное тестирование. В этом случае выполнение тестирования производится после фазы разработки компонентов системы и включает последовательные фазы компонентного, интеграционного, системного и приемочного тестирования. Разработка программы и методики испытаний, включающей проработку тестовых примеров и сценариев, может производиться заранее, параллельно с разработкой или модификацией системы.

Тестирование готовых информационных систем выполняется в виде отдельного проекта по тестированию, в котором тестирование производится традиционным способом. Такие проекты распадаются на фазы: компонентного, интеграционного, системного и приемочного тестирования. Каждая из фаз включает все этапы жизненного цикла тестирования.

Независимо от типа жизненного цикла разработки,  в который интегрируется тестирование, жизненный цикл тестирования включает следующие этапы:

• планирование тестирования;
• проектирование тестовых примеров;
• реализация тестовых сценариев;
• подготовка тестовых данных;
• подготовка/модификация тестового окружения;
• выполнение тестирования;
• подготовка отчетов о результатах тестирования;

Уровни тестирования

Специалисты Центра тестирования "Интерфейс" предоставляют услуги по тестированию информационных систем всех уровней:

Компонентное или модульное тестирование (unit-тестирование). Нацелено на проверку отдельных элементов в исходном коде одного компонента: классов и функций.  Направлено на выявление ошибок в их реализации, которые могут проявляться при различных входных параметрах.

Интеграционное тестирование. Тестирование всей или части системы, состоящей из двух и более  компонентов. Предназначено для проверки  взаимодействия между интегрированными компонентами системы, а также интеграции между технологическими уровнями системы: аппаратурой, операционной системой, промежуточным ПО.

Системное тестирование. Тестирование интегрированной информационной системы на соответствие предъявляемым к ней функциональным  и нефункциональным требованиям. Позволяет выявить дефекты, связанные с реализацией функциональности системы, оценить характеристики ее качества: устойчивость, надежность, безопасность и производительность и т.д. В рамках системного тестирования также производится проверка взаимодействия с пользователями системы и сторонними  системами, в ходе которого  выявляются многие проблемы внешних интерфейсов системы.

Виды тестирования

Для проверки различных аспектов работы информационных систем  на каждом из уровней тестирования могут применяться различные виды тестирования, направленные на оценку различных аспектов качества информационной системы:

Функциональное тестирование. Проверка соответствия реализованных функций имеющимся функциональным требованиям. В ходе функционального тестирования имитируются сценарии фактического использования элемента системы. Позволяет выявить некорректные или отсутствующие функции, ошибки интерфейса, ошибки во входных или выходных данных.

Нагрузочное тестирование.  Анализ производительности и стабильности работы системы на основе  эмуляции реальной пользовательской нагрузки. Основано на моделировании параллельной работы определенного числа пользователей в различных пользовательских сценариях.  Позволяет определить возможность выполнения определенного объема задач в отведенное/прогнозируемое время и оценить производительность различных программно-аппаратных конфигураций при различном числе пользователей.

Тестирование безопасности. Вид тестирования, используемый для проверки безопасности системы, а также для анализа рисков, связанных с обеспечением целостного подхода к защите системы, атак хакеров, вирусов, несанкционированного доступа к конфиденциальным данным. Позволяет осуществить проверку контроля доступа к информации, способность системы обеспечивать сохранение целостности данных и их безопасность.

Конфигурационное тестирование. Направлено на проверку работоспособности компонентов информационной системы при использовании в различных конфигурациях. Например, в различных операционных системах, различными браузерами или версиями мобильных операционных систем. Заблаговременное тестирование на различных платформах позволяет избежать серьезных накладок в процессе реальной эксплуатации.
Тестирование развертывания. Позволяет убедиться, что развертывание (установка и настройка) компонентов информационной системы проходят гладко.
Тестирование отказоустойчивости. Проверка системы на способность противостоять и успешно восстанавливаться после сбоев из-за ошибок в программном обеспечении, отказами оборудования или проблемами связи.

Тестирование удобства использования. Включает оценкустепени удобства, с которым пользователь может применять данный инструмент для выполнения своих задач.  Служит выявлению сильных и слабых мест в интерфейсе для дальнейшего его улучшения в ходе итерационного процесса разработки или модификации системы при традиционном процессе разработки.
Тестирование локализации. Позволяет проверить компоненты системы, а также пользовательские интерфейсы компонентов системы, на корректность работы при их локализации на один или несколько языков.

Профилирование. Анализ работы программного обеспечения системы с целью дальнейшей оптимизации таких аспектов работы программного обеспечения, как времени работы отдельных функций,
использование ресурсов памяти,
использование отдельных инструкций. Основана на инструментализации исходного кода или бинарных компонентов системы, которая выполняется с помощью специальных инструментов - профайлеров. Проверка покрытия исходного кода.  Проверка исходного кода на наличие непроверенных в процессе тестирования участков, наличие "мертвого" кода. Позволяет определить,  насколько выполняемые тесты покрывают функциональность исследуемого приложения. По результатам тестирования принимается решение о создании новых тестовых примеров, расширении существующих или модификации исходного кода приложения.
Контроль качества исходного кода.  Проверка соответствия исходного кода программного обеспечения различным стандартам кодирования. Проверка качества кода особенно актуальна при разработке в команде из нескольких программистов/групп разработчиков.

Фазы тестирования

Центр тестирования "Интерфейс" предлагает слуги по тестированию программного обеспечения на всех фазах его разработки и сдачи в промышленную эксплуатацию:

• альфа-тестирование (тестирование в процессе разработки);
• бета-тестирование;
• тестирование релиза;
• тестирование финальной версии или приемочное тестирование.

Приемочное тестирование.  Финальный этап тестирования - проверка законченной информационной системы на удовлетворение требованиям заинтересованных сторон. Позволяет определить степень соответствия информационной системы приемочным критериям (требованиям заказчика, пожеланиям пользователей и других заинтересованных сторон). На основании результатов тестирования принимается решение о приемке программного продукта или его направлении на доработку.  

Тестирование изменений

Изменения в системе, внесенные при реализации новой функциональности или исправлении ошибок, могут приводить к появлению ошибок в уже существующей функциональности. Для быстрого выявления таких ошибок в новых сборках системы специалисты Центра тестирования "Интерфейс" используют следующие подходы для тестирования изменений:

Регрессионное тестирование. Предназначено для повторной проверки свойств приложения или продукта с целью убедиться в том, что после внесения изменений или добавления новых возможностей не были внесены ошибки, повлиявшие на другую функциональность системы.

Smoke-тестирование (дымовое тестирование).  Поверхностная проверка работоспособности  системы после сборки.

Sanity-тестирование (санитарное тестирование). Проверка того, что конкретная функция работает согласно требованиям, заявленным в спецификации. Используется для определения работоспособности определенной части приложения после изменений, произведенных в ней или в окружающей среде.

Автоматизация тестирования

Центр тестирования "Интерфейс" предлагает услуги по проведению как ручного, так и автоматизированного тестирования.

Ручное тестирование.  Выполняется специалистом по тестированию на основе разработанных ручных сценариев тестирования. Применяется, когда автоматизированное тестирование не возможно, либо не эффективно из-за необходимости постоянной переработки автоматических скриптов в условиях постоянных изменений.
Автоматизированное тестирование. Позволяет увеличить объем проверок, сократить время тестирования, упростить процесс тестирования и повысить его качество, а также облегчить проведение регрессионного тестирования при внесении изменений в создаваемую информационную системы.  

Полуавтоматизированное тестирование. Выполнение сценариев автоматизированного тестирования, для которых требуется постоянный контроль со стороны специалиста по тестированию. Позволяет провести проверку максимально тщательно, с необходимыми отклонениями от стандартных сценариев.  

Глубина тестирования

Для выполнения тестирования могут использоваться методы черного и белого ящика.

Тестирование методом "черного ящика". Тестирование с точки зрения конечного пользователя или внешней системы. Внутренние особенности реализации системы скрыты для тестового окружения. Элемент системы представляет собой "черный ящик", правильность поведения которого по отношению к внешнему окружению и предстоит проверить.
Тестирование методом "белого ящика". Позволяет не только обнаружить проблему в системе или ее компоненте, но и локализовать место ее возникновения. При данном методе  тестирования существует возможность анализа не только входов и выходов, но и внутреннего обмена сообщениями между составными частями тестируемого элемента.

Тестовые базы данных

Мы можем взять на себя работу по подготовке тестовых баз данных,  используя подходы по маскированию данных в производственных базах данных.

Маскирование данных. Необратимая автоматизированная замена реальных  конфиденциальных данных в базах данных системы на аналогичные, но не существующие, для использования их при тестировании. Технология маскирования данных снижает риски утечки конфиденциальных данных в процессе тестирования и делает возможным привлечение к выполнению тестирования внешних субподрядчиков. Таким образом, обеспечивается качество разрабатываемых программных продуктов, и выполняются требования внутренних политик безопасности заказчика и государственных регуляторов.

Создание тестовых окружений

Мы предлагаем услуги по созданию тестовых окружений для информационных систем, используя различные подходы по эмуляции внешних систем, компонентов системы и ее пользователей.

Эмуляция компонентов и сервисов. Создание и применение для целей тестирования "заглушек", которые позволяют эмулировать  отсутствующие компоненты системы и ее окружения (сервисы, приложения и целые системы). Это позволяет начинать тестирование имеющихся компонентов системы раньше, не дожидаясь, когда все остальные будут доступны.

Моделирование сценариев поведения пользователей. Используется для эмуляции внешней нагрузки на систему в процессе тестирования производительности. Позволяет автоматизировать процесс эмуляции работы большого количества пользователей с пользовательскими интерфейсами компонентов системы.

Развертывание тестовых стендов и окружений

Центр тестирования "Интерфейс" предлагает услуги по проектированию и развертыванию тестовых стендов и окружений в публичных и частных облаках или инфраструктуре заказчика.

Развертывание в облаках. Мы можем оснастить тестовые стенды и окружения, используя публичные облака Amazon, eBay, Microsoft Azure и IBM Enterprise Cloud или частное облако Центра тестирования "Интерфейс".  

Развертывание на основе шаблонов. Развертывание виртуальных тестовых стендов и окружений на основе шаблонов позволяет быстро создавать, модифицировать и повторно использовать все сделанные наработки.    

Стандарты и методологии

Работа специалистов по тестированию "Интерфейс"  базируется на международных методиках и стандартах отрасли информационных технологий, связанных с управлением качеством и тестированием:

• ГОСТ 34 Разработка автоматизированной системы управления;
• ГОСТ 19 Единая система программной документации (ЕСПД);
• IEEE 829 Standard for Software and System Test Documentation;
• RUP Унифицированный процесс Rational;
• CMMI Модель зрелости разработки программного обеспечения;
• ГОСТ 15504 ИТ. Оценка процессов
• ГОСТ 12207 ИТ. Процессы жизненного цикла программных средств;
• ГОСТ 15288 ИТ.Системная инженерия. Процессы жизненного цикла систем;
• ГОСТ 28195 Оценка качества программных средств. Общие положения;
• ISO/IEC 25051 Requirements for quality of Commercial Off-The-Shelf (COTS) software product and instructions for testing
• ГОСТ Р ИСО 9126 Оценка программной продукции. Характеристики качества и руководства по их применению;
• ГОСТ Р ИСО 12119 Пакеты программ. Требования к качеству и тестирование ;
• ГОСТ 14756 ИТ. Измерение и оценка производительности программных средств компьютерных вычислительных систем;
• ГОСТ 14764 Информационная технология. Сопровождение программных средств;
• ГОСТ 12119 ИТ. Требования к качеству и тестирование;
• ГОСТ 27000 Методы и средства обеспечения безопасности. Системы менеджмента информационной безопасности.

Инструменты тестирования

Специалисты центра тестирования "Интерфейс"  имеют большой опыт работы со средствами автоматизированного тестирования и системами управления жизненным циклом разработки и тестирования от многих вендоров:  IBM, HP, Microfocus и решений  на основе открытого кода.

"Интерфейс" активно использует в проектах по тестированию широкий спектр программных средств IBM Rational для автоматизации и управления тестированием, включая Quality Manager, Functional Tester, Robot, Performance Tester, Performance Test Server,  AppScan, Rational Integration Tester, Test Virtualization Server, Mobile Test Workbench и другие.

Не менее активно используются решения для автоматизации тестирования на базе открытого кода, такие как JUnit, CPPUnit, Selenium,  STAF STAX.

При необходимости для реализации проекта могут использоваться решения от других вендоров.