Тема 13. Методология и инструментарий на примере IBM Rational

Общая методология разработки ПО Rational Unified Process выделяет довольно большой набор видов тестирования, иерархия которых приведена на рис. 7.

Рис. 7. Виды тестирования по методологии Rational Unified Process

Указанные виды тестирования можно с известной долей условности разделить следующим образом:

Функциональное :

• тестирование функциональности (Function testing)
• тестирование целостности данных (Data integrity testing);
• тестирование на разных платформах (Configuration testing);
• тестирование отказоустойчивости (Failover & recovery testing);
• тестирование доступа (Security testing);
• инсталляционное тестирование (Installation testing);
• тестирование пользовательского интерфейса (User interface testing)

Нагрузочное:

• нагрузочное тестирование (Load testing)
• профилирование производительности (Performance profiling);
• тестирование цикла работы (Business cycle testing);
• тестирование при большой пользовательской нагрузке (Stress testing);
• тестирование на больших объемах данных (Volume testing).

Для решения этих задач предлагаются следующие основные инструменты:

• IBM Rational TestManager — управление тестированием;
• IBM Rational PurifyPlus (Purify, PureCoverage, Quantify) — анализ работы системы в режиме RunTime;
• IBM Rational Robot — функциональное и нагрузочное тестирование;
• IBM Rational TestFactory — автоматизация создания тестов;
• IBM Rational XDE Tester — функциональное тестирование Java и Web приложений.

Из сопоставления этих списков видно, что каждый продукт покрывает несколько типов тестирования. Вот краткая характеристика этих инструментов:

• IBM Rational TestManager необходим на всех этапах тестирования, предоставляет в распоряжение команды общие средства планирования, проектирования, исполнения и анализа тестов с использованием единой панели управления. Данный продукт имеет собственное хранилище данных, что обеспечивает более качественное управление версиями. Любой инструмент тестирования ПО, обладающий собственным API, не сложно интегрировать в единую систему, при этом может поддерживаться большинство исполняющих платформ тестирования.
• IBM Rational PurifyPlus включает три инструмента, предназначенных для анализа в режиме реального времени приложений и компонентов, разработанных с помощью Visual C/C++, C#, VB, VB .NET, Java, Java .NET. Purify обеспечивает автоматическое выявление ошибок, связанных с памятью, при этом выделяются источник и расположение ошибки. Если доступен исходный код, то его можно исправить непосредственно из Purify. Запатентованная технология Object Code Insertion позволяет выявлять ошибки доступа к памяти не только в исходном коде, но и в двоичных программных компонентах (DLL, объекты COM/DCOM, ODBC). PureCoverage — средство автоматического определения непротестированного кода. Quantify выполняет оценку производительности, определяя “узкие места” приложений и компонентов, как с исходным кодом, так и без него. Встроенные средства анализа данных помогают проводить сравнение результатов тестовых прогонов для различных вариантов кода.
• IBM Rational Robot — средство создания, изменения и выполнения автоматизированных тестов Интернет-приложений, ERP-систем и клиент-серверных решений. С его помощью обеспечивается объектно-уровневая поддержка при разработке приложений на различных средствах разработки. Сценарии функциональных тестов генерируются в среде SQABasic, синтаксически совместимой с VB; встроенный редактор позволяет расширить сценарии тестов необходимыми процедурами и логическими условиями. Предусмотрена возможность создания специализированных тестов для различных типов программных объектов. Для формирования скриптов используется собственный Си-подобный язык.
• IBM Rational TestFactory — инструмент автоматической генерации скриптов тестирования посредством всестороннего анализа запущенного приложения для выявления дефектов надежности. Поскольку в программах имеется огромное число путей выполнения, проблема заключается в том, чтобы создать тесты, которые проверяют полный функционал приложения за минимальное число шагов.
• IBM Rational XDE Tester — специализированный инструмент для тестирования Java-приложений (J2EE, J2SE, SWT, AWT/JFC) и Web-приложений (см. веб-программирование). Текстовые сценарии пишутся на Java, технология ScriptAssure обеспечивает проверку достоверности динамических данных. Среда тестирования реализована в оболочке Eclipse, при этом имеется возможность встраивания инструмента в WebSphere Studio и Rational XDE Developer.

Если «альфа-» и «бета-тестирование» относятся к стадиям до выпуска продукта (а также, неявно, к объёму тестирующего сообщества и ограничениям на методы тестирования), тестирование «ящиков» имеет отношение к способам, которыми тестировщик достигает цели.

Бета-тестирование в целом ограничено техникой чёрного ящика (хотя постоянная часть тестировщиков обычно продолжает тестирование белого ящика параллельно бета-тестированию). Таким образом, термин «бета-тестирование» может указывать на состояние программы (ближе к выпуску чем «альфа»), или может указывать на некоторую группу тестировщиков и процесс, выполняемый этой группой. Итак, тестировщик может продолжать работу по тестированию белого ящика, хотя ПО уже «в бете» (стадия), но в этом случае он не является частью «бета-тестирования» (группы/процесса).