Что пишут в блогах

Подписаться

Онлайн-тренинги

Конференции

Что пишут в блогах (EN)

Разделы портала

Про инструменты

Лучшие вакансии

.
Тестирование производительности
Статьи о тестировании, мониторинге и оптимизации производительности программ


Тестирование производительности: последовательность тестов, измеряемые показатели, правила подачи нагрузки
01.12.2017 10:24

Тестирование производительности – обобщенное понятие, которым часто обозначают разные виды проверки ПО. В данной статье команда A1QA с опорой на реальные кейсы расскажет, в какой последовательности проводится тестирование и что измеряется на каждом из этапов.

Первым в череде тестов проводится стресс-тест (Stress Test), цель которого – установить предельный уровень производительности продукта. Стресс-тест позволяет проанализировать зависимость ключевых характеристик системы (времени отклика самых важных бизнес-транзакций, количества запросов в секунду, количества транзакций в секунду) от количества одновременно работающих пользователей.

Во время стресс-теста нагрузка на систему подается непрерывно до тех пор, пока не будет достигнут один из критериев его остановки. Например, стресс-тест банковской системы был остановлен при превышении отметки в 1500 пользователей, когда высокая загруженность процессора (более 80%) привела к увеличению среднего времени отклика в пять раз и массовому появлению ошибок HTTP(S).

На втором этапе проводится нагрузочный тест (Load Test), с помощью которого оценивается способность системы справляться с длительной нагрузкой (4-8 часов). Количество пользователей для нагрузочного теста определяется в количестве 80% от результата максимальной производительности, выявленной при стресс-тесте. Уровень нагрузки при тестировании банковской системы поддерживался на одном уровне в течение восьми часов и составил 1200 пользователей. Нагрузочный тест показал существенное ухудшение производительности системы с течением времени, а дополнительное профилирование ее компонентов позволило обнаружить дефекты, проявляющиеся только при длительной работе большого количества пользователей (например, утечки памяти).

Подробнее...
 
SQA Days 21: подборка докладов по тестированию производительности
29.09.2017 11:11

Мы выбрали доклады с конференции, которые посвящены тестированию производительности.

1. Настраиваемое тестирование производительности, Евгений Ланцов, Deutsche Bank, Санкт-Петербург

2. Всевидящее око. Мониторинг нагрузочного тестирования с InfluxDB и Grafana, Андрей Пищулин, Перфоманс Лаб, Ижевск

3. Apache JMeter vs LoadRunner: на заре справедливости, сравнение инструментов нагрузочного тестирования, Максим Рогожников, Перфоманс Лаб, Ижевск

4. Нагрузочное тестирование: Нестандартные методы анализа потока данных в приложениях, Сергей Журин, Перфоманс Лаб, Москва

Подробнее...
 
Тестирование производительности: виды тестов, метрики и советы от профессионалов
05.09.2017 11:39

Сегодня, когда рост вычислительных мощностей снизился, а объемы обрабатываемых данных, количества пользователей и запросов к системам продолжают расти, вопросы производительности и ее тестирования широко обсуждаются в профессиональной среде.

В данной статье команда по тестированию производительности A1QA освещает основные виды тестов и рассказывает, что нужно учесть при их выполнении для получения релевантных результатов.

Перед вами самые распространенные виды тестирования производительности.

1. Стресс-тестирование (Stress Test)

Этот тест проводится первым. Нагрузка постепенно увеличивается до тех пор, пока приложение не перестанет работать корректно. В конце теста фиксируется количество пользователей, которое приложение выдерживало, соответствуя требованиям производительности, и сколько выдержать не смогло. Первое значение и будет пределом производительности вашего приложения. Часто этот вид тестирования проводится, если заказчик предвидит резкое увеличение нагрузки на систему. Например, для e-commerce это могут быть дни распродаж.

Подробнее...
 
Требования к производительности ПО — как быть волком-одиночкой
17.07.2017 18:37

Запись доклада Игоря Колосова со встречи QA-talk в Харькове.

- «Семь раз отмерь» — виды требований к производительности ПО.
- «За водой или по воду?» — как правильно собирать требования к производительности.
- «Пойди туда, не знаю, куда» — хорошие и плохие требования.
- «Одинокий рейнджер» — что делать, если вы в проекте играете соло-партию и/или ответственны за сбор требований к производительности.

Подробнее...
 
Как нагрузочное тестирование процессинга обошлось нам в €157 000 и почему никого не уволили
06.07.2017 08:08

Оригинальная публикация

https://habrahabr.ru/company/yamoney/blog/329926/#radius-porazheniya

Однажды наша команда решилась на эксперимент по расстрелу боевой платежной системы реальными деньгами. Это позволило бы понять, сколько сможем выдержать мы вместе с нашими партнерами. Об этом неоднозначном опыте и хочу рассказать.

К исследованию побудили два фактора: появление у нас собственного процессинга карт и предстоящая крупная распродажа одного из популярных в РФ онлайн-ритейлеров.

Идея выглядела вполне бюджетной – примерно на 125 000 р. (по 1 р. на операцию), но кто же знал, как все обернется. Особая перчинка в том, что вся информация об эксперименте долгое время была закрыта и впервые публикуется в открытом источнике.

Как оказалось, мы не одиноки – ни один из наших банков-партнеров еще полгода назад не знал своего настоящего «потолка» и решал проблемы по мере поступления. По сути, они просто добавляли новые мощности прямо во время распродаж, хотя и не всегда успешно.

Будущие жертвы

Система карточных платежей (Mastercard в нашем случае) соединяет между собой множество внешних организаций, у каждой из которых свой зоопарк систем. Под нагрузку карточных платежей попадают практически все они, поэтому сразу посмотрим на всех участников.

Ниже представлена упрощенная схема взаимодействия нескольких организаций для обеспечения возможности оплатить какой-то товар картой через сервис Яндекс.Денег:

Подробнее...
 
Тестирование производительности для чайников
05.07.2017 09:53

Оригинал статьи: http://testdetective.com/performance-testing-tutorial/

Автор: Лукас Розуонек (Łukasz Rosłonek)

Перевод: Ольга Алифанова

Я заметил, что большинство тестировщиков слабо знакомо с такой областью, как тестирование производительности. В основном мы концентрируем усилия на функциональных аспектах тестирования, оставляя тестирование производительности, масштабируемости и настройки на откуп разработчикам. Но ведь стабильность – важная часть качества продукта, особенно в эпоху распределенных сетей, когда приложения масштабируются независимо и опираются на интеграцию через HTTP-протоколы. Другой аспект качества – способность увеличивать масштаб наших систем. Для того, чтобы справиться с ростом трафика, нужно знать пропускную способность ПО.

Инженеры хорошо знакомы с такими инструментами, как JMeter, Gatling, Tsung. Они относительно просты в использовании, но люди зачастую плохо разбираются в анализе выданных ими результатов, и не умеют делать выводы на их основании. Собеседуя кандидатов на должность тест-инженера, я часто встречаю людей, утверждающих, что они имеют опыт тестирования производительности, но не владеющих знаниями о метриках этого вида тестирования, а также о его элементарных положениях. Основная цель нагрузочного тестирования и тестирования производительности – не умение обращаться с соответствующими инструментами, а знания, полученные в результате их использования. Цель этой статьи – осветить основные аспекты этой области.

Подробнее...
 
Эволюция нагрузочного тестирования – от простой автоматизации до BDD
08.12.2016 11:14

Доклад от Алексея Рагозина (Lead Solution Architect, Технологический Центр Дойче Банка) на конференция «Разработка ПО» (CEE-SEC®).

Доклад посвящён эволюции методологии используемой для нагрузочного тестирования и основан на практическом опыте нескольких проектов. В начале пути была простая автоматизации нагрузочного тестирования. По-мере усложнения разрабатываемого продукта и изменения требований, возникала потребность в усложнения методологии и в заимствовании подходов хорошо зарекомендовавших себя для функционального тестирования. Кульминацией эволюции, в рамках доклада, будет рассказ об адаптации BDD (Behaviour Driven Develoment) практики для нагрузочного тестирования.

Подробнее...
 
Результаты опроса про инструменты нагрузочного тестирования
21.11.2016 21:59

Не так давно на нашем форуме был инициирован опрос и обсуждение про инструменты для нагрузочного тестирования.

Сегодня мы публикуем результаты этого опроса.

Не стало неожиданностью, что JMeter там сильно оторвался от других инструментов. Для тех, кто хочет освоить этот инструмент совсем скоро у нас стартует курс  Тестирование производительности.

Полная версия результатов опроса

Обсудить в форуме

 
SQA Days 19: подборка докладов по тестированию безопасности и нагрузочному тестированию
27.09.2016 12:02

Выполняя тестирование, не забывайте о том, что нефункциональные характеристики качества тоже имеют большое значение.

Мы собрали несколько докладов о тестировании производительности и защищенности, которые были прочитаны в рамках конференции SQA Days 19 в Санкт-Петербурге.

Тестируем производительность с помощью Selenium, Александр Шиповалов, Luxoft-Training, Омск, Россия

Подробнее...
 
Что такое производительность и что значит "быстро"?
18.07.2016 14:59

В мае вышла новая версия JMeter 3.0. Концептуальных изменений в ней нет, однако поменялся интерфейс, изменились названия некоторых элементов, а также появились новые элементы.

В связи с этим Алексей Баранцев принял решение полностью переписать тренинг “Тестирование производительности”.

Работа над курсом кипит, а мы решили поделиться записью первого вводного модуля курса. Модуль позволяет познакомиться с тренером и оценить его манеру преподнесения информации.

Содержание модуля:

  • Что такое производительность? Тестирование производительности -- зачем мы его проводим?
  • Функциональные и нефункциональные характеристики качества. Производительность + надёжность + удобство использования (дизайн). Скорость и ресурсоёмкость. Уровни изменений: производительность алгоритмов, производительность ПО, производительность человека, использующего ПО.
  • Какие ошибки мы можем обнаружить: узкое место («бутылочное горлышко»), медленная подсистема/функция, точки насыщения, функциональные дефекты.
  • Ложно-положительные и ложно-отрицательные результаты.

 



Страница 1 из 4