В тестировании одна из важнейших задач - определение того, что тестировать не надо. Именно для этого придуманы разные хитрые методы: и классы эквивалентности, и pairwise, и прочее. Ещё сложнее дело обстоит в мобильном тестировании: к трудностям функционального тестирования приложений добавляются проблемы с устройствами, версиями ОС и качеством связи.
Чтобы облегчить вам задачу формирования правильного набора тест-кейсов, мы перевели чек-лист Tmap по тестированию мобильных приложений. В нём есть всё необходимое: от установки на разные версии ОС до проверки работы GPS и акселерометра. Скачать его в формате PDF можно по ссылке. Оригинал доступен по ссылке (формат .doc)
В тестировании есть такое понятие, как Monkey Testing - случайное нажатие на всевозможные кнопки приложения для того, чтобы его сломать. Действия эти не требуют каких-либо особых навыков, однако иногда помогают успешно находить даже сложные баги. Для автоматизации monkey testing существует много приложений на различных платформах.
В Android есть встроенное приложение UI Automation Exersizer Monkey, которое генерирует нужное количество случайных событий для телефона. Эти события могут быть самыми разными: одинарное нажатие, перетягивание, зум двумя пальцами, переключение системных кнопок, и даже переключение между различными пакетами приложения. Можно тонко настроить частоту определённых событий (зума, например) и задержку между ними. Инструмент это очень простой и не требует глубоких знаний для использования, однако при правильном подходе он позволяет значительно упростить себе задачи стресс-тестирования приложения. Для того, чтобы показать его работу, мы записали небольшое видео.
В современном мире мобильными приложениями никого не удивить, наверняка каждый из вас пользуется ими ежедневно будь то игры, социальные сети или учет финансов. Заказать такси, посмотреть новости, купить билет на самолет - сейчас все это сделать легко. Но при условии, что приложение на вашем устройстве работает корректно.
Поэтому вопрос тестирования мобильных приложений так актуален в наше время. Есть ли какие-то особенности у данного процесса? Конечно! Различные типы устройств, не один десяток разрешений экрана, несколько версий операционных систем, разные типы подключения к интернету - вот далеко не полный список того, что может усложнить этот процесс.
На конференции SQA Days 19 наши коллеги, которые сталкиваются с тестированием мобильных приложений каждый день, рассказали, как именно проводить данный вид тестирования, о чем нельзя забывать в процессе и как свои теоретические знания применить на практике.
Напоминаем, что уже открыта регистрация на следующую конференцию для специалистов в области качества программного обеспечения - SQA Days-20, Минск, ноябрь.
Как обычно для читателей нашего портала действует промокод на получение 10% скидки.
После очередной уборки на сервере выяснили, что у нас осталось несколько неопубликованных докладов со старых онланй-конференций. Те доклады, информация в которых еще не устарела постараемся выложить в ближайшее время.
Последнее время область мобильных приложений становится все популярнее. Чего только стоит приложение Angry Birds, количество загрузок которого уже давно превысило цифру в 10 миллионов!
Существует 3 основных типа Android приложений:
Native
Web
Hybrid
За 20 минут я успею показать, как автоматизировать Native Android приложения при помощи инструмента Robotium, так чтобы голова не болела.
При разработке стратегии тестирования мобильных приложений важно учитывать, что, конечно, устройства - это еще не все, но вам придется учесть ВСЕ устройства!
Суть в том, что протестировать абсолютно все комбинации устройств и операционных систем просто невозможно. И что теперь, не тестировать? Тоже не вариант.
Созданная нами стратегия должна быть умной и вдумчивой, и базироваться на исследованиях, анализе и здравом смысле. Она должна в конечном итоге привести нас нас к "достаточно хорошему" качеству продукта, соответствующего целям бизнеса.
Автор: Александр Хозя, Badoo, Lead Mobile QA Engineer
Наша новая статья представляет собой список рекомендаций и советов. Из неё вы узнаете:
как облегчить процесс тестирования мобильных приложений в целом;
о специфике работы с сетью, внутренними и внешними сервисами, платформах iOS и Android;
какие процессные решения и изменения позволят вам развиваться быстрее и вводить культуру тестирования в отделе разработки;
какие существуют полезные инструменты и решения для тестирования, отладки, мониторинга и миграции пользователей.
Начинающим тестировщикам советы могут помочь расти быстрее, а более опытным — упорядочить знания. Статья также будет полезна разработчикам, продакт-менеджерам и менеджерам проектов, словом — всем, кто хочет улучшить качество продукта и наладить взаимодействие между отделами.
Выступление Надежды Дегтяревой (Самара, Mercury Development) на онлайн-конференции Mobile ConfeT&QA.
Системы сбора статистики помогают отслеживать действия пользователей при работе с приложением, чтобы сделать его ещё более функциональным и эффективным, а также значительно облегчают жизнь команде тестирования и разработки.
В своем докладе я хочу помочь вам узнать этих скрытых помощников «в лицо» и рассказать: 1. О том, что умеют популярные системы сбора статистики, и на какой лучше остановить свой выбор. 2. Как облегчить себе жизнь и сделать настройку системы статистики более гибкой с помощью Segment.io 3. Об основных тонкостях интеграции систем сбора статистики и выбора логируемых событий, почему лучше семь раз отмерить 4. Как использовать собранную статистику себе и другим во благо, чтобы создавать действительно качественные и удобные приложения
Выступление Александра Хози (автор блога Записки мобильного тестировщика) на онлайн-конференции для специалистов по автоматизации тестирования Auto ConfeT&QA.
Мобайл — молодая и стремительно развивающаяся отрасль, где лидеры и правила игры меняются с огромной скоростью. В силу молодости подходы к разработке и тестированию еще не окончательно устоялись, и имеется целый ряд препятствий, отравляющих нам жизнь. Если опытного мануального тестировщика мобильных приложений можно опознать по развитым хватательным рефлексам и мозолям на пальцах, то опытного автоматизатора мобильных приложений под iOS — по красным от слез глазам :)
Поделюсь с вами, почему автоматизация мобильных приложений — нетривиальный процесc. В частности, почему автоматизация iOS приложений — особенная пичалька :)
Расскажу:
какие ограничения существуют у мобайла и у iOS в частности;
какие инструменты мы исследовали;
что выбрали;
«по пацански» ли использовать screenshot-based средства;
как мы скомбинировали screenshot-based c «традиционными» инструментами автоматизации;
Запись доклада Екатерины Михеевой на онлайн-конференции Mobile ConfeT&QA, осень 2013
Все тесты прогнаны, регрессионное тестирование пройдено, кейсы заполнены, можно выкладывать новую версию вашего ПО? Казалось бы, да! Но нет! В своем докладе я расскажу про распространенные проблемы и ошибки, которые вызваны не самим ПО, а особенностями того или иного железа мобильных устройств на платформе Android.
Тестирование на эмуляторе и использование автотестов чаще всего не выявят эти хитрые ошибки, которые могут возникнуть у пользователя из-за многообразия устройств на платформе Android, в отличие, например, от iOS, для которой нет такого разброса. Поэтому я расскажу об основных особенностях мобильного железа:
как составить набор тестов;
что нужно учесть, чтобы покрыть основной список особенностей тех или иных устройств и сократить количество всевозможных ошибок, которые могут возникнуть у конечного пользователя: GPS, Печать, Передача данных, Фоточки, Проблемы ОС
2. Смотрите diff-ы каждой ветки/фичи и задавайте как можно больше вопросов разработчиков. Этим вы:
поднимите свой престиж как тестировщика - пытаетесь разобраться в коде и областях, которые затронуты этой фичей
начнете изучать язык программирования и начнете лучше понимать что происходит 'под капотом'
3. Изучите жизеннный цикл приложений. Activity 1, 2, 3 (Android) и ViewController 1, 2, 3 (iOS) для понимания из какого в какое состояние может переходить экран приложения и самое приложение.
4. Попросите выводить в лог все запросы к серверу и/или попросите удобную 'смотрелку логов' у сервер-side разработчиков, чтобы удобнее было анализировать запросы и выявлять дубликаты и/или находить более удобные способы обновления данных. Например, для обновления одной части профиля разработчик может перезапрашивать весь профиль вместо использования более легковесного запроса.
