Автор: Панкратов Вячеслав
Зачем нужна система, которая позволит оценить выгоды от внедрения вопрос скорее риторический, чем практический, но всё же постараемся формализовать причины, по которым исследование эффективности можно считать неотъемлемой задачей при выборе, внедрении и использовании средств автоматизации тестирования.
На самом деле, зачастую при выборе средства автоматизации тестирования, в первую очередь оценивается его оперативная необходимость: то есть выбирается средство или линейка продуктов, которая позволит выполнять необходимый набор тестов, которые нельзя выполнять вручную (нагрузочные и стрессовые тесты) и в должной мере автоматизирует процесс ручного (функционального и регрессионного) тестирования. Если стоимость средства, которое решено приобрести укладывается в затраты по конкретному проекту (к примеру узкоспециализированные средства генерации тестовых данных или более продвинутые инструменты от малоизвестных компаний, которые только выходят на рынок) вопрос возврата инвестиций не стоит очень остро. Однако при приобретении линейки инструментов, стоимость которых зачастую может превышать стоимость разрабатываемого проекта, вложение уже рассматривается как капитальное вложение в производство и подчиняется тем же законам, что и оборудование или вычислительная техника. Принимая во внимание, что лицензионная политика многих компаний предусматривает продление лицензий на продукты ежегодно, стоимость инструментария становится важным критерием, не только на этапе выбора инструмента, но и на этапе его эксплуатации и последующего использования. Не исключено, что увидев счёт за лицензию на следующий год, руководство компании или инвесторы захотят оценить насколько эффективно использовались средства выделенные на автоматизацию тестирования. Возникает потребность в механизме оценки сэкономленных человеко-часов.
Как вариант подобной оценки можно рассмотреть небольшой документ, который разрабатывается в момент запуска системы автоматизации и заполняется менеджером проекта или руководителем направления по мере внедрения и использования инструмента. Структура документа проста: запись о проблеме которую удалось разрешить с помощью инструмента или же описание рабочей ситуации в которой с помощью инструмента была достигнута экономия ресурсов и оценка в человеко-часах времени, которое удалось сэкономить. Зная стоимость человеко-часа в конкретном проекте, можно без особых усилий подсчитать реальную стоимость сэкономленных ресурсов. Кроме того не стоит забывать об улучшениях в процессе разработки, которые не поддаются прямой оценке, но также должны быть учтены при разработке указанного документа. Например с помощью инструмента тестирования удалось промоделировать работу системы под нагрузкой 100-200 пользователей. Реальная экономия состоит в том, что не пришлось проводить подобное трудоёмкое тестирование, но оценить в человеко-часах разработчиков и тестировщиков его сложно.
Таким образом, анализ систем автоматизации тестирования не ограничивается только предшествующим его покупке анализом. Безусловно, эффективно может использоваться только тот инструмент, который был выбран согласно выдвинутым требованиям и удовлетворяет бизнес потребностям команды тестирования и разработки. Но и последующая его оценка, так сказать сопроводительный, рабочий анализ, также может оказаться очень полезным когда придется оценивать реальные выгоды, которые были достигнуты внедрением и применением средств автоматизации тестирования.
