Тестирование производительности

Что меня беспокоит в коммерческих инструментах нагрузочного тестирования

barancev@gmail.com (Administrator) — Sun, 20 Oct 2024 20:00:00 +0000

Автор: Филипе Фрайр (Filipe Freire)
Оригинал статьи
Перевод: Ольга Алифанова

Во втором эпизоде обзора инструментов, а также в моей пародии про нагрузочное тестирование «Как быстро разбогатеть», я упоминал, как активно продавцы коммерческих инструментов нагрузочного тестирования употребляют нагрузочную терминологию, искажая ее, чтобы попытаться обдурить потенциальных покупателей. Крупнейшее искажение – это хищнические и (почти) криминальные схемы, основанные на описании, как «виртуальные пользователи» и схожие концепции продаются и описываются для тех, кто отвечает за затраты на нагрузочное тестирование.

Применение APDEX в нагрузочном тестировании

barancev@gmail.com (Administrator) — Mon, 05 Feb 2024 20:00:00 +0000

Автор: компания Simbirsoft

При автоматизации нагрузочных тестов специалисты рано или поздно приходят к мысли о том, как сравнивать результаты проводимых тестов. И не только сравнивать, но и демонстрировать результаты команде и бизнесу. Часто сравнение результатов нагрузочных тестов напоминает игру «найди 10 отличий» на почти одинаковых картинках. И если для специалистов в тестировании производительности это не проблема, то для коллег, не погруженных в теорию, это может стать таковой. Тут необходим какой-то простой и наглядный индикатор, который легко позволит определить — показатели стали лучше или хуже в процессе работы над проектом.

По мотивам известного комикса xkcd. Оригинал

Нагрузочное тестирование API без использования UI

barancev@gmail.com (Administrator) — Wed, 25 Oct 2023 20:00:00 +0000

Автор статьи: Павлов Игорь
В этой статье поговорим о Нагрузочном тестировании при помощи JMeter-Java-Dsl и реализуем наш первый нагрузочный тест для API с генерацией динамических значений.

Модульное тестирование производительности в Kubernetes или Как мы выиграли время на чай и здоровый сон для НТ-инженера

barancev@gmail.com (Administrator) — Tue, 03 Oct 2023 20:00:00 +0000

Оригинальная публикация
Всем привет! Меня зовут Сергей Лысов, я занимаюсь тестированием производительности платформы интернета вещей ZIIoT Oil&Gas. Если вы о ней еще не слышали, то велком сюда. А в этой статье я расскажу о том, как мы ускоряли и упрощали ее тестирование через автоматизацию контроля тестов и сборки отчетов, а также внедрение изолированных тестов. Точнее — с чего мы этот путь начали и куда примерно движемся.

Измерение производительности пути пользователя при помощи Lighthouse и WebdriverIO

barancev@gmail.com (Administrator) — Wed, 24 May 2023 20:00:00 +0000

Автор: Хью МакКэмфилл (Hugh McCamphill)
Оригинал статьи
Перевод: Ольга Алифанова

У Lighthouse теперь есть новый API пути пользователя, позволяющий тестировать в лабораторных условиях в любой момент, пока существует страница. Он поддерживает генерацию Lighthouse-отчета из сценария Puppeteer, но я хотел посмотреть, как это получится при помощи WebdriverIO!

Сравнение JMeter и k6 на практике

barancev@gmail.com (Administrator) — Wed, 25 Jan 2023 20:00:00 +0000

Привет! Меня зовут Максим Колесников. Я работаю в центре компетенций нагрузочного тестирования блока обеспечения и контроля качества выпуска изменений в «РСХБ-Интех» — IT-компании АО «Россельхозбанк». У нас молодое подразделение, которое активно развивается, так что вместо инерционного похода «так исторически сложилось», команда задается вопросами «что делаем», «почему делаем» и «как можно сделать лучше» (и надо ли).
Когда я в очередной раз прогонял себя по этому списку, возникла крамольная мысль: «А не выкинуть ли нам JMeter и переписать все на k6?». Вскоре уровень моей радикализации вернулся в норму, во многом под давлением аргументов, с которыми сложно спорить: «Нельзя внедрять технологии ради технологий», «Инструмент нужно выбирать под задачу, у всех есть свои плюсы и минусы», «А где будешь искать людей, владеющих инструментом, ты подумал?» и т. д. Но где-то в подсознании зародилась идея, от которой я мог избавиться только одним путем — написав эту статью. На этом закончим с лирической частью, всех заинтересовавшихся разбором инструментов прошу под кат.

50 оттенков нагрузочного тестирования

barancev@gmail.com (Administrator) — Sun, 22 May 2022 20:00:00 +0000

Автор: Коршунова Александра

С нарастающими скоростями и распределёнными системами всё сложнее бывает создать приложение удобным для конечного пользователя. Программы обладают кучей фич. Но выполняют ли они то, что нужно юзерам? А скорость их выполнения достаточная? А производительность при выполнении не хромает? На эти вопросы помогает ответить нагрузочное тестирование (НТ).
Меня зовут Саша, я работаю в команде тестирования Ozon Fintech и расскажу про разнообразный спектр вариантов НТ: как именно мы его применяем и какие инструменты используем. Статья будет полезна тем, кто уже что-то слышал про НТ и хочет добавить его в свой проект, но пока страшновато. Давайте разбираться!

Чем измерить метрики производительности приложения

barancev@gmail.com (Administrator) — Wed, 27 Apr 2022 20:00:00 +0000

Автор: Пермякова Ольга
Ссылка на оригинальную публикацию

Привет, я Оля, QA iOS. Наша команда выкатывает обновления для мобильного 2ГИС и следит, чтобы у него не упала производительность.
Изначально мы отслеживали это уже после попадания приложения в стор, что, конечно, было не очень эффективно. Если происходила просадка, приходилось срочно чинить и перезаливать приложение. Естественно, нам хотелось улучшить процесс и проверять производительность до выхода приложения в стор, а ещё лучше — на каждом этапе создания приложения.
Для этого теоретически подходили два инструмента — MetricKit и Performance Monitoring. Мы решили присмотреться к ним, потому что:
MetricKit — продукт Apple, а значит будет поддерживаться, пока существует iOS;
Performance Monitoring — продукт Firebase от Google. У нашей команды есть опыт использования Firebase Crashlytics, значит перейти на продукт от этого же производителя будет легко.

Сравнение производительности инструментов нагрузочного тестирования

barancev@gmail.com (Administrator) — Wed, 16 Mar 2022 20:00:00 +0000

Оригинальная публикация
Автор: Сергей Лысов
Всем привет, меня зовут Сергей, я занимаюсь тестированием производительности. Недавно поднялся вопрос в выборе инструмента для воспроизведения довольно интенсивной нагрузки, в основном по HTTP. Инструментов для тестирования производительности сейчас представлено довольно много, в том числе многие из них являются Open Source — проектами и доступны бесплатно. Стало интересно, какой же инструмент справится с подобной задачей лучше, сможет воспроизвести большую нагрузку затратив меньше ресурсов.
Решил поставить несколько популярных инструментов в одинаковые условия и проверить результат. Если интересно что из этого получилось, добро пожаловать под кат.

Поговорим о нагрузочном тестировании

barancev@gmail.com (Administrator) — Tue, 12 Oct 2021 20:00:00 +0000

Оригинал этой статьи находится в блоге компании Veeam на хабре.
Тестирование программного обеспечения принято делить на много видов. Тут вам и функциональное тестирование, и модульное, и тестирование безопасности, и многое другое. Есть и редкие подвиды, такие как юзабилити тесты или тестирование локализации. Но определённым особняком всегда стояло загадочное для многих нагрузочное тестирование. Одна из основных причин для этого — высокие требования к уровню технических знаний инженера, который решит заняться проверкой работы продукта под нагрузкой и его способностью масштабироваться. Предлагаем вам вместе с нами глубже разобраться в вопросе в этой статье.

Model Checking для тестирования многопоточности? С Lincheck — легко

barancev@gmail.com (Administrator) — Wed, 10 Feb 2021 20:00:00 +0000

Оригинальная публикация
Сегодня мы будем говорить про многопоточность и расскажем про инструмент Lincheck, один из ключевых проектов Лаборатории параллельных вычислений в JetBrains Research. Если в двух словах, то это фреймворк для тестирования многопоточных структур данных под JVM, предоставляющий возможность декларативного написания тестов. Что это значит? Как правило, при написании тестов мы пишем саму логику тестирования. С Lincheck-ом же все иначе — вместо указания того, как тестировать, вы объявляете операции, которые необходимо проверить, критерий корректности (например, линеаризуемость) и возможные ограничения (например, "single-consumer" для очередей) — то есть указываете что тестировать. А дальше Lincheck уже сам со всем разберется. В этом посте мы сделаем краткий обзор Lincheck-а и расскажем про режим model checking, который мы недавно зарелизили и который уже спас нам десятки часов отладки ошибок в алгоритмах.

Основы JMeter, часть 4: JMeter и Jenkins

barancev@gmail.com (Administrator) — Wed, 20 Jan 2021 20:00:00 +0000

Автор: Джуао Фариас (João Farias)
Оригинал статьи
Перевод: Ольга Алифанова

Установка Jenkins через Docker

Существует множество способов установить Jenkins локально в зависимости от вашей ОС.

На Mac можно использовать brew:

brew install jenkins

На Debian можно использовать apt:

Нагрузочное тестирование выполнять сложно, а инструменты далеки от совершенства. Почему?

barancev@gmail.com (Administrator) — Wed, 13 Jan 2021 20:00:00 +0000

Автор оригинала: Nicholas Tietz-Sokolsky
Оригинальная публикация

Если вы создаёте приложение, которое должно масштабироваться — а все мы надеемся, что наши приложения будут расти — то в определённый момент нам приходится разбираться, может ли оно это делать на самом деле. Именно тогда на помощь приходит нагрузочное тестирование: если вы хотите узнать, справится ли ваше приложение с крупными масштабами, то мы просто генерируем эти масштабы и проверяем! Звучит достаточно просто.

Разбираемся, безопасно ли стрелять по проду и чем полезны дашборды

barancev@gmail.com (Administrator) — Mon, 11 Jan 2021 20:00:00 +0000

Оригинальная публикация
На подходе полезные видео с конференции ЮMoneyDay от специалистов по тестированию. Если заглянете под кат, то узнаете:

какие задачи помогают решить исследования производительности на продакшене, и как их результаты влияют на развитие крупного платежного сервиса.

как команда интеграционного тестирования использует дашборды и какую пользу можно получить от такого инструмента.

Основы JMeter, часть 3: Google Drive и OAuth

barancev@gmail.com (Administrator) — Thu, 17 Dec 2020 20:00:00 +0000

Автор: Джуао Фариас (João Farias)
Оригинал статьи
Перевод: Ольга Алифанова

Во введении в этот цикл статей мы изучили основы тест-плана JMeter, создав серию запросов для получения торговых данных Bitcoin.

В первой части мы устранили дупликацию при помощи переменных.

И, наконец, во второй части мы научились валидировать результаты – метаданные ответа, продолжительность ответа и JSON-содержимое.

В этот раз мы разберемся, как сохранять файлы на Google Drive, используя OAuth для аутентификации запросов.

Основы JMeter, часть 2: правила

barancev@gmail.com (Administrator) — Thu, 03 Dec 2020 20:00:00 +0000

Автор: Джуао Фариас (João Farias)
Оригинал статьи
Перевод: Ольга Алифанова

В прошлых частях цикла статей про JMeter мы научились создавать сценарии для тестирования нескольких конечных точек с использованием групп потоков и обработчиков событий, а также избегать дупликации в конфиге при помощи переменных.

Эти инструменты позволяют нам оценивать содержание ответов и время, потраченное на их получение.

Основы JMeter, часть 1: переменные

barancev@gmail.com (Administrator) — Wed, 18 Nov 2020 20:00:00 +0000

Автор: Джуао Фариас (João Farias)
Оригинал статьи
Перевод: Ольга Алифанова

В прошлый раз мы заложили фундамент для исследования производительности сервиса orderbook в Mercado Bitcoin, бразильском обменнике криптовалюты.

Скачать код можно здесь.

В этот раз мы начнем разрабатывать более детальный набор тестов.

Основы JMeter, введение: Получение биткойн-заказов от Mercado Bitcoin API

barancev@gmail.com (Administrator) — Thu, 05 Nov 2020 20:00:00 +0000

Автор: Джуао Фариас (João Farias)
Оригинал статьи
Перевод: Ольга Алифанова

Mercado Bitcoin – это один из самых крупных бразильских обменников криптовалюты. Он позволяет обменивать Bitcoin, Litecoin, Ethereum и другие криптоденьги.

Платформа предоставляет API, позволяющий получать данные об использовании. Он хорош тем, что очень прост и не требует учетной записи или аутентификации – отличный вариант для начала работы с JMeter, потому что мы можем сконцентрироваться на основах.

В этой статье мы изучим производительность эндпойнта orderbook. Это регистрация всех запросов на сделку (покупку и продажу). Мы будем запрашивать конечную точку для книги заказов Bitcoin много раз, и зафиксируем, сколько времени занимает завершение запросов.

Виды тестирования производительности

barancev@gmail.com (Administrator) — Mon, 19 Oct 2020 20:00:00 +0000

Автор: Ким Нап (Kim Knup)
Оригинал статьи
Перевод: Ольга Алифанова
3 года назад я рассказывала о своем опыте тестирования производительности в Songkick, и, честно говоря, я любила эту дисциплину. Она сочетает две моих любимых вещи – поведение пользователей и поведение системы в различных условиях. Было просто потрясающе – включаешь распродажу билетов на артиста и наблюдаешь, как по-разному используют систему разные поклонники. Они отличаются не только используемыми устройствами и браузерами, но и тем, что они делают. Они постоянно обновляют страницу, возвращаются вперед и снова переходят назад. Кому-то достаточно одного билета, а кто-то всегда берет несколько.

Обожаю сочетать данные о поведении реальных пользователей с их действиями и моделировать на этом основании различные тесты производительности.

Измеряем изменения в скорости загрузки сайта в различных сетевых (и не только) условиях. Теперь удобнее

barancev@gmail.com (Administrator) — Tue, 15 Sep 2020 20:00:00 +0000

Автор: Рубан Виталий (drag13)
Блог автора: https://drag13.io/
Всем, привет. Хочу поделиться своим проектом, который я делал в последние несколько месяцев. Это open-source инструмент командной строки, предназначенный для удобного сбора метрик производительности веб-сайта в различных сетевых (и не только) условиях.

Уже реализована эмуляция slow3g, fast3g, и 4g сетей, тестирование с браузерным кешированием или без, эмуляция замедления процессора. Собираются события первой и наибольшей отрисовки, время потраченное на построение макета и пересчет стилей, размер ресурсов загруженных до FCP и другие полезные метрики.

Кому интересны подробности, немного кода и чуть-чуть про новое CSS правило которое появится в Chrome 85, прошу за мной!

Анализ результатов нагрузочного тестирования

barancev@gmail.com (Administrator) — Thu, 20 Aug 2020 20:00:00 +0000

Автор: Рогожников Максим (Тинькофф)
Оригинальная публикация
С каждым днем в мире становится все больше и больше инструментов для проведения нагрузочного тестирования. Собственно, и сам интерес к этой теме начинает возрастать.
Основная задача инструмента нагрузочного тестирования — подать заданную нагрузку на систему. Но кроме этого есть еще одна, не менее важная задача — предоставить отчет о результатах подачи этой нагрузки. Иначе мы проведем тестирование, но ничего не сможем сказать о его результате и не сможем достаточно точно определить, с какого момента началась деградация системы.

В настоящий момент наиболее популярными инструментами тестирования являются Gatling, MF LoadRunner, Apache JMeter. Все они обладают возможностями как генерации готовых отчетов по проведенному тестированию, так и отдельных графиков или сырых данных, на основе которых строится уже сам отчет.

Top 10 лучших инструментов для нагрузочного тестирования

barancev@gmail.com (Administrator) — Sun, 09 Aug 2020 20:00:00 +0000

Оригинальная публикация
Автор: Перфоманс Лаб
Нагрузочное тестирование позволяет оценить производительность программного обеспечения при различных нагрузках от действий определенного количества пользователей. Бизнесу всегда важно знать производительность программного обеспечения в реальных условиях, выявить основные уязвимости и обеспечить высокое качество ПО. Нагрузочное тестирование позволяет снизить риск сбоя после запуска приложения в реальных условиях. Однако, если Вы хотите эффективно выполнить нагрузочное тестирование, Вам понадобятся инструменты тестирования эффективности нагрузки, которые помогут смоделировать виртуальных пользователей и выполнять тестовые сценарии.

Рынок программного обеспечения сегодня полон различных инструментов нагрузочного тестирования, начиная от приложений с открытым исходным кодом и заканчивая инструментами для автоматизированного нагрузочного тестирования премиум-класса. Тем не менее, имея такое количество доступных вариантов, иногда трудно выбрать лучший инструмент нагрузочного тестирования для вашего бизнеса. В этой статье мы рассмотрим список инструментов нагрузочного тестирования и обсудим плюсы и минусы каждого из них.

Инструменты

Apache JMeter
LoadRunner
LoadNinja
WebLOAD
LoadUI Pro
BlazeMeter
K6
Яндекс.Танк
Gatling
Boomq.io

Comaqa Spring 2019: тестирование нагрузки и безопасности

barancev@gmail.com (Administrator) — Thu, 05 Dec 2019 20:00:00 +0000

Публикуем подборку докладов с конференции Comaqa Spring 2019, посвященную нагрузочному тестированию и тестированию безопасности.

Процесс тестирования производительности на проекте "с нуля" – Антон Серпутько, EPAM Systems (Киев).

Инструменты нагрузочного тестирования в процессе разработки - Сергей Зименко, Terrasoft (Киев).

Как специалисту по ручному тестированию базово проверить проект с точки зрения безопасности - Евгений Толчинский Testing Center of Excellence, (Киев).

Ценность и результативность usability аудита и тестирования – Яна Рыжова, Елена Захарова, EPAM (Нижний Новгород)

Как спроектировать нагрузочный тест

barancev@gmail.com (Administrator) — Mon, 12 Aug 2019 20:00:00 +0000

Автор: Кристин Джеквони (Kristin Jackvony)
Оригинал статьи
Перевод: Ольга Алифанова
Сегодня мы поговорим о нагрузочном тестировании. Нагрузочное тестирование – это способы измерения надежности и скорости вашего приложения во времена повышенного спроса на него. Это может означать тест-сценарии при приемлемой, разумной нагрузке, или же это могут быть тесты на экстремальный стресс, чтобы выяснить пределы возможностей приложения.

Довольно легко найти инструмент нагрузочного тестирования, создать несколько тестов и прогнать их при нагрузке в пару сотен пользователей, чтобы создать метрики. Но это не особенно вам поможет, если вы не знаете, зачем вы это делаете, и чем вам помогут полученные результаты.

Поэтому, прежде чем приступать, важно ответить на следующие вопросы:

Какие сценарии будут тестироваться?

Каково ожидаемое поведение в этих сценариях?

Введение в тестирование производительности

barancev@gmail.com (Administrator) — Sun, 21 Jul 2019 20:00:00 +0000

Автор: Кристин Джеквони (Kristin Jackvony)
Оригинал статьи
Перевод: Ольга Алифанова
Тестирование производительности, как и ряд другой терминологии тестирования ПО, может интерпретироваться по-разному разными людьми. Некоторые объединяют под этим термином все типы тестов, замеряющих поведение приложения, и включают в него нагрузку и стресс-тестирование. Прочие используют его, говоря об отклике приложения при обычных условиях. Я буду пользоваться вторым вариантом определения.