Разделы портала

Онлайн-тренинги

.
Сравнение инструментов для автоматизированного тестирования
17.09.2018 12:46

Автор: доктор Vu Nguyen, преподаватель, директор Инженерной службы KMS Technology

Перевод: Колесникова Виктория, инженер-тестировщик  компании Bercut, Telegram: t.me/lifeoftesting

Определяющий фактор для успешного применения автоматизации тестирования программного обеспечения - выбор и использование правильного набора средств автоматизации тестирования. Это сложная задача, особенно для тех, кто раньше не сталкивался с автоматизацией тестирования, поскольку на рынке существует очень много инструментов, каждый из которых имеет разные сильные и слабые стороны. Нет инструмента, который бы соответствовал всем требованиям автоматизированного тестирования. Это затрудняет поиск подходящего решения. Узнайте, как правильно выбрать средство автоматизации для вашего проекта из приведенного ниже подробного сравнения Katalon Studio с другими популярными инструментами для автоматизации тестирования на рынке.

ОБЗОР ИНСТРУМЕНТОВ

Katalon Studio - это автоматизированная тестовая платформа, которая предлагает полный набор функций для внедрения полностью автоматизированных тестовых решений для Web, API и мобильных устройств. Созданная на основе открытых источников Selenium и Appium, Katalon Studio позволяет командам быстро запускать автоматизацию тестирования, уменьшая усилия и знания, необходимые для обучения и интеграции этих фреймворков для задач по автоматизации тестирования.

Selenium - это, пожалуй, самая популярная система автоматизации, которая состоит из множества инструментов и плагинов для тестирования веб-приложений. Selenium известен возможностью тестирования производительности веб-приложений. Selenium - популярный выбор в области автоматизации тестирования с открытым исходным кодом, благодаря его активной разработке и большому сообществу пользователей.

Unified Functional Testing (UFT), ранее QuickTest Professional (QTP) - один из самых популярных коммерческих инструментов для автоматизации функциональных тестов. UFT предлагает полный набор функций, охватывающих большинство функциональных задач автоматического тестирования на десктопных, мобильных и веб-платформах.

TestComplete -  также коммерческая интегрированная платформа для тестирования десктопных, мобильных устройств и веб-приложений. Как и UFT, TestComplete предлагает ряд ключевых функций автоматизации тестирования, таких как:

  • тестирование на основе ключевых слов(keyword-testing) и данных (DDT - Data-driven testing),
  • кросс-браузерное тестирование,
  • тестирование API и интеграция CI.

Этот инструмент поддерживает несколько языков, включая JavaScript, Python, VBScript, JScript, DelphiScript, C ++ Script и C # Script для написания тестовых скриптов.

Сравнение инструментов

Ниже в таблице приведено сравнение инструментов по ключевым вопросам автоматизации программного обеспечения.

Возможности

Katalon Studio

Selenium

UFT

TestComplete

Операционная система

Кросс-платформенный

Кросс-платформенный

Windows

Windows

Виды тестируемых приложений

Web, мобильные приложения, API/Web сервисы

Web-приложения

Windows десктопные, Web-, мобильные приложения, API/Web сервисы

Windows десктопные, Web-, мобильные приложения apps, API/Web сервисы

Поддерживаемые языки программирования

Java/Groovy

Java, C#, Perl, Python, JavaScript, Ruby, PHP

VBScript

JavaScript, Python, VBScript, JScript, Delphi, C++ и C#

Требуемый уровень программирования пользователя

Не требуется. Рекомендован для расширенного написания тестовых сценариев

Высокий уровень. Навыки, необходимые для интеграции различных инструментов

Не требуется. Рекомендован для расширенного написания тестовых сценариев

Не требуется. Рекомендован для расширенного написания тестовых сценариев

Сложность обучения инструменту

Средняя

Высокая

Средняя

Средняя

Простота в установке и использовании

Прост в установке и запуске

Требуется установка и интеграция различных инструментов

Прост в установке и запуске

Прост в установке и запуске

Скорость создания тестового сценария

Высокая

Низкая

Высокая

Высокая

Хранение и поддержка объектов

Встроенный репозиторий для объектов, XPath, изменение описания свойств для идентификации объектов XPath

XPath, UI Maps

Встроенный репозиторий, умные определение и коррекция объектов

Встроенный репозиторий, умное определение общих объектов

Тестирование на основе изображений

(Image-based)

Встроенная возможность

Требуется установка дополнительных библиотек

Встроенная возможность, распознавание объектов по изображению

Встроенная возможность

Интеграция с DevOps/ALM инструментами

Со многими

Нет (требуются дополнительные библиотеки)

Со многими

Со многими

Непрерывная интеграция

Популярные CI инструменты. Например, Jenkins, Teamcity.

Различные CI инструменты. Например, Jenkins, Cruise Control

Различные CI инструменты. Например, Jenkins, HP Quality Center

Различные CI инструменты. Например, Jenkins, HP Quality Center

Анализ тестовых результатов

Katalon Analytics

Нет

Нет

Нет

Служба поддержки

Сообщество, служба поддержки для бизнеса,
специализированный персонал

Open source сообщество

Сообщество,
специализированный персонал

Сообщество, 
специализированный персонал

Тип лицензии

Бесплатное программное обеспечение

С открытым исходным кодом (Apache 2.0)

Патентованный

Патентованный

Стоимость

Бесплатно

Бесплатно

Плата за лицензию и обслуживание

Плата за лицензию и обслуживание

Сильные и слабые стороны инструментов

В приведенной выше сравнительной таблице основное внимание уделяется общим особенностям инструмента для автоматизации тестирования. Ниже приводится сравнение в другой перспективе: сравнение ключевых сильных и слабых сторон инструментов.

Инструменты

Сильные стороны

Слабые стороны

Katalon Studio
  • Не требуется плата за лицензию и обслуживание (при необходимости доступна платная поддержка с квалифицированным персоналом)
  • Интегрируется с необходимыми фреймворками и функциями для быстрого создания и исполнения тестовых сценариев
  • Базируется на фреймворке Selenium, но не требует передовых навыков и знаний для использования в отличие от Selenium
    • Новое решение с пока еще небольшим быстрорастущим сообществом
    • Библиотека методов и набор инструментов в состоянии развития
    • Отсутствие выбора языков программирования для написания сценариев: поддерживается только Java / Groovy

    Selenium
    • Открытый исходный код, нет платы за лицензирование и обслуживание
    • Большое сообщество пользователей и разработчиков способствуют быстрому развитию инструмента
    • Интегрируется со многими инструментами и платформами для расширения возможностей
      • Команда тестировщиков должна обладать хорошими навыками программирования, иметь опыт установки и интеграции Selenium с другими инструментами и фреймворками
      • Для запуска автоматизации тестирования с нуля требуются большие временные затраты на установку и интеграцию
      • Медленная ответ от поддержки сообщества

      UFT
      • Хорошо продуманный, исчерпывающий функционал автоматического тестирования, интегрированный в единую систему
      • Квалифицированная служба поддержки и достаточно большое пользовательское сообщество
      • Чтобы начать работу требуются только базовые навыки программирования
      • Платное решение: высокая оплата за лицензию и обслуживание
      • Возможны затраты на модернизацию и дополнительные модули
      • Поддерживается только VBScript

      TestComplete
      • Хорошо продуманный, исчерпывающий функционал автоматического тестирования, интегрированный в единую систему
      • Поддержка нескольких языков программирования
      • Чтобы начать работу требуются только базовые навыки программирования
      • Платное решение: высокая оплата за лицензию и обслуживание
      • Отдельная оплата за дополнительные модули и расширения

      Для автоматизированного тестирования нет универсального инструмента. Команда тестирования должна оценивать различные решения для выбора именно того инструмента, который отвечает ее требованиям к автоматизированному тестированию. Языки программирования и технологии, используемые для разработки программного обеспечения, продолжают развиваться так же, как и инструменты автоматического тестирования. Из-за этого стоимость - значительный фактор при выборе инструмента. Коммерческие поставщики часто взимают плату за обновление. Это может быть существенным, если ваше программное обеспечение использует новые и часто меняющиеся технологии. Для использования же инструментов с открытым исходным кодом и некоммерческими средствами не требуется оплаты, но требуются усилия и компетенция для внедрения новых обновлений. Трудно отыскать ответ на вопрос и найти специальные знания, необходимые для интеграции различных инструментов и платформ с подобными решениями. Новые инструменты, такие как Katalon Studio, которые интегрируются с фреймворками с открытым исходным кодом, представляют собой жизнеспособную альтернативу коммерческим и open-source решениям для автоматического тестирования.

      Обсудить в форуме