Что пишут в блогах

Подписаться

Что пишут в блогах (EN)

Разделы портала

Онлайн-тренинги

.
Оценочная карта инструмента автоматизированного тестирования приложений с графическим интерфейсом
17.10.2007 04:00

Предложенная оценочная карта применима в ситуации, когда нужно провести анализ нескольких средств автоматизации тестирования по различным признакам. Критерии анализа разбиты на группы, что позволяет в случае узкоспециализированных средств проводить более специальный анализ. Разработанная весовая сетка может быть изменена и дополнена с целью смещения акцентов анализа и внедрение в систему анализа новых факторов. Карта заполнена тестовыми данными, критической оценки абстрактного инструмента.

Характеристика инструмента тестирования Весовой коэффициент
(1 — 10)		 Оценка
(1 — 5)		 Итог
(1— 50)
Простота применения [ наверх ]
Кривая обучения 7 5 35
Простота эксплуатации инструмента 5 5 25
Простота установки (инструмент, возможно, не будет использоваться, если его трудно устанавливать) 5 3 15
Настройка конфигурации инструмента — — —
Можно ли изменить конфигурацию инструмента (можно ли или удалить попя, поддерживаемые инструментом) 7 4 28
Поддерживает ли инструмент соглашения по именованию тестовых процедур 8 4 32
Поддержка платформ [ наверх ]
Можно ли перенести инструмент на другую платформу? Способен ли он работать в сети одновременно на нескольких платформах (т е поддержка различных версий Windows: Windows 9x, Windows NT) 8 4 32
Мультидоступ [ наверх ]
Какую базу данных использует инструмент? Допускает ли она масштабируемость? 8 5 40
Сетевой репозиторий тестов (необходим, когда требуется многопользовательский доступ к репозиторию) 8 5 40
Отслеживание дефектов [ наверх ]
Поставляется ли инструмент со встроенной системой отслеживания дефектов? 10 3 30
Функциональность инструмента [ наверх ]
Язык записи тестовых скриптов. Использует ли инструмент гибкий и при этом надежный язык записи скриптов? Какова сложность языка скриптов? Является ли он языком четвертого-поколения? Возможно ли при его использовании модульное программирование скриптов? 9 5 45
Сложность языка скриптов 9 5 45
Язык скриптов позволяет объявлять и использовать переменные, передавать параметры между функциями 9 5 45
Что использует инструмент для трансляции тестовых скриптов: компилятор или интерпретатор? 9 5 45
Интерактивная отладка тестов Может ли пользователь языка скриптов отслеживать значения переменных, выполнять код по шагам, подключать тестовые процедуры или переходить в другие внешние процедуры? 8 4 32
Можно ли с помощью инструмента записывать скрипты на уровне действий с окнами (на уровне распознавания объектов)? 10 5 50
Позволяет ли инструмент взаимодействовать с внешними файлами dll и ехе? 9 5 45
Внешний API — возможности языкового интерфейса 10 4 40
Поддержка ODBC Поддерживает ли инструмент какую-либо ODBC-совместимую базу данных? 10 4 40
Допускает ли инструмент расширение (т е нужно ли вставлять в код дополнительные операторы)? 9 4 36
Сетевые протоколы Можно ли настроить инструмент на различные сетевые протоколы (например, TCP/IP IPX)? 9 3 27
Поддержка специализированных управляющих элементов (custom control) Допускает ли инструмент настройку на специализированные управляющие элементы при сохранении совместимости и функциональности? 10 3 30
Возможность запуска скриптов в установленное время, скрипты должны работать без наблюдения со стороны тестировщика 9 5 45
Возможность добавления таймеров 10 5 50
Возможность добавления комментариев во время записи 7 5 35
Совместимость с языком программирования графических интерфейсов, средой разработки и аппаратной средой, которые используются для приложения, предназначенного для тестирования (т е Visual Basic, PowerBuilder) 10 5 50
Возможность запроса и обновления тестовых данных во время выполнения скрипта (т е возможность использования SQL-запросов) 10 4 40
Поддержка создания библиотеки повторно используемых функций 10 5 50
Возможность использования упаковщиков (wrapper) или оболочек (shell), в которых можно объединять несколько процедур воедино и вызывать их путем запуска одной процедуры 10 5 50
Анализ результатов тестирования. Можно без труда увидеть, успешно ли отработал тест (т е существует ли возможность автоматической генерации протокола тестирования)? 10 3 30
Выполнение теста посредством воспроизведения записанного скрипта Может ли инструмент восстановить работу после обнаружения ошибки, обработать активные окна, которые не должны были появиться, запротоколировать различия и продолжить воспроизведение (автоматическая нейтрализация ошибок)? 5 3 15
Возможность синхронизации клиента и сервера 10 5 50
Возможность автоматической генерации тестовых процедур 8 5 40
Возможность автоматической генерации данных 8 5 40
Получение отчетов [ наверх ]
Возможность получения результатов в графической форме (диаграммы и графики) 8 5 40
Возможность подготовки отчетов 8 5 40
Какой генератор отчетов использует инструмент? 8 5 40
Можно ли изменить формы предопределенных отчетов и/или создать новые формы отчетов? 8 5 40
Тестирование производительности и перегрузок [ наверх ]
Инструмент тестирования производительности и перегрузок интегрирован с инструментам тестирования приложений с графическими интерфейсами 9 5 45
Поддержка тестирования производительности, перегрузок и нагрузочного тестирования 10 3 30
Возможность эмуляции пользователей без дополнительных рабочих станций 10 3 30
Возможность поддержки конфигурационного тестирования (т е тесты должны выполняться на различных конфигурациях аппаратного и программного обеспечения) 10 3 30
Возможность передачи переменного скрипта из пула данных библиотеки скриптов/информационных входов и регистрационных имен/паролей 10 3 30
Поддержка мониторинга ресурсов (памяти, дискового пространства, системных ресурсов) 10 3 30
Возможность синхронизации таким образом, чтобы скрипт получал доступ к записи в базе данных одновременно с нескольких виртуальных пользователей для выявления блокировок (locking), условий взаимоблокировок (deadlock) и проблем параллельных запросов к распределенной базе данных (concurrency control) 10 5 50
Возможность выявления того, что события завершились в надежном режиме 9 5 45
Возможность задания времени отклика сервера на запрос клиента 10 3 30
Возможность получения результатов в графической форме 8 5 40
Возможность измерения производительности загрузки данных 10 5 50
Контроль версий [ наверх ]
Поставляется ли инструмент со встроенной возможностью контроля версий? 10 4 40
Можно ли интегрировать инструмент с другими инструментами контроля версий? 8 3 24
Планирование и управление тестированием [ наверх ]
Инструмент планирования и управления тестированием встроен в инструмент тестирования графического интерфейса 8 5 40
Инструмент планирования и управления тестированием интегрирован с инструментом управления требованиями 6 5 40
Инструмент планирования и управления тестированием поддерживает определенный стандарт процесса тестирования (SEI/CMM, ISO) 7 4 28
Поддержка управления выполнением тестов 10 5 50
Возможность планирования тестирования Поддерживает ли инструмент составление плана тестирования и анализ хода тестирования' Может ли инструмент содержать ссылки на планы тестирования, матрицы и спецификации программного продукта для отслеживания хода тестирования? 10 5 50
Возможность измерения хода тестирования 10 5 50
Возможность получения разнообразных отчетов 9 4 36
Цена продукта [ наверх ]
Укладывается ли цена в намеченные рамки? 10 4 40
Какой тип лицензии применяется (плавающая или фиксированная)? Является ли цена конкурентоспособной? 7 3 21
Характеристики производителя [ наверх ]
Зрелость продукта 8 4 32
Доля рынка, занимаемая продуктом 8 4 32
Характеристики производителя, такие как финансовая стабильность и продолжительность существования. Каковы достижения производителя? 8 4 32
Поставляются ли «заплатки» (patches) к программе если необходимо? 8 4 32
Поставляются ли обновленные версии (upgrade) на регулярной
основе? 		8 5 40
Поддержка клиентов 10 3 30
Возможность обучения 9 4 36
Доступна ли справка по инструменту? Хорошо ли документирован инструмент? 9 5 45
Наличие групп пользователей инструмента и возможность участия в их работе 8 4 32
Итоговое значение 2638
Tags: