Очевидно, каждая компания, вверяющая результаты своей деятельности программному продукту, в какой-то момент приходит к мысли: так ли безупречно работает алгоритм?
В самом деле: со временем вариативность вычислений возрастает, появляются новые параметры, операторы заводят множество данных, но правильные ли числа получаются на выходе? А ведь иногда речь идёт ещё и о расчёте выплат, то есть ошибка может приводить к реальным финансовым потерям. Как удостовериться в том, что потерь удастся избежать?
Не удивительно, что в одной крупной страховой компании однажды возник вопрос: безупречно ли функционирует их система расчёта КАСКО? За ответом на этот вопрос они обратились к нам. Была поставлена задача: протестировать систему расчёта стоимости страховки, сделав упор в первую очередь на корректность расчетов. Мы имели предоставленные компанией подробнейшие системы принятого расчёта, составлявшие около 30 итоговых коэффициентов для 39 регионов (именно таков был размах этой страховой) и 39 больших файлов.
Все мы когда-то были новичками: в тестировании или в другой сфере – не важно. Мы одинаково спотыкались, блуждали в поисках правильного пути и далеко не всегда быстро находили решение. Порой у нас опускались руки от многократных ошибок, и в голове прочно утверждалась мысль: «Я – неудачник и все делаю не так!».
Я хорошо помню свой самый первый проект с реальными задачами, свои большие от страха глаза, когда мне поручили составление тестов. Я совершенно не знала, с чего начинать. И больше всего меня мучило не абстрактное «как это делается?», а «как это сделать правильно?».
С тех пор прошло почти три года, я многому научилась – самостоятельно и с помощью замечательных коллег, с которыми мне посчастливилось работать. А еще за все это время я успела неоднократно побывать в роли наставника новичков, которые приходили в нашу компанию, и стать одним из тренеров курса «Школа успешных тестировщиков» Натальи Руколь.
Наставничество в «Лаборатории Качества», регулярная проверка домашних заданий и мой собственный опыт на старте карьеры сформировали ряд принципов, которым я стараюсь следовать при подготовке начинающих тестировщиков.
Многие руководители проектов ищут универсальный ответ на вопрос: «Каким должно быть соотношение тестировщиков и разработчиков»? В некоторых компаниях дело доходит до утверждения нормативов: например, численность тестировщиков должна составлять 40% от команды разработки, или на каждого разработчика должен приходиться один тестировщик. Для обоснования этого соотношения нередко подбирается некая универсальная статистика по отрасли. Существует ли оптимальный рецепт?
Правильного соотношения не существует
Универсальные ответы всегда чреваты неточностью. Представьте: вы приходите к врачу и начинаете ему жаловаться на свою проблему. Он, не дослушав, выписывает лекарство:
— Какой у Вас вес? 80? Значит, по нормативу Вам надо пить 2 таблетки в день. — Но подождите, доктор, у меня не простуда, а перелом ноги! — Не отвлекайте, у нас норматив. Следующий!
Сократив затраты на диагностику, оценку ситуации и поиск подходящего именно вам решения, вы, скорее всего, впоследствии потеряете значительно больше времени на неизбежные в таком случае проблемы.
Выступление Сергея Атрощенкова на онлайн-конференции для специалистов по ручному тестированию Fun ConfeT&QA.
Кажется, что ты знаешь всех окружающих тебя коллег. Но, обращаясь с просьбой к разработчику – получаешь отказ.
«Ах он нехороший!» – могут возникнуть мысли. Так ли это? А если вспомнить, как именно мы просили? Конечно – как положено! Но так «положено» только в нашей картине мира. Так, как мы считаем правильным. Так, как нас научил наш опыт.
А когда мы общаемся с тестировщиком-коллегой – эффективно ли наше общение? Достигаем ли мы цели коммуникации? А ставим ли осознанно цель?
Когда я только начинал работать в тестировании, я бежал к менеджеру каждый раз, когда что-то блокировало мою работу. Сделать так, чтобы я мог сфокусироваться на собственных задачах – прямая обязанность менеджера, правда?
Если у меня все шло хорошо, то я хотел, чтобы менеджер просто оставил меня в покое и дал мне поработать. Однако происходило ровно наоборот, и мы ежедневно вели такие диалоги:
- Привет, Бен, как там тестирование?
- Все окей!
- (неловкое молчание)
- (менеджер уходит)
- (моя почта сообщает, что мне пришло приглашение на встречу, чтобы обсудить прогресс тестирования).
Полагаю, такой ход событий раздражал не только меня. Начальнику явно что-то было нужно, но я не знал, что! Может, он просто хотел убедиться, что я работаю, а не занимаюсь ерундой – честно говоря, мне было как-то все равно. Я концентрировался на важных вещах, и тратил кучу времени на размышления о проекте и о том, что мне нужно сделать, чтобы проект удался. Я копался в коде, писал юнит-тесты, проводил код-ревью, тестировал свободным поиском, критиковал требования, разговаривал с разработчиками и дизайнерами… Большая часть моей отчетности была устной и сообщалась или разработчикам, или менеджеру проекта. С непосредственным руководителем я практически не взаимодействовал – я просто не видел в этом смысла.
Напоминаем, что уже открыта регистрация на следующую конференцию для специалистов в области качества программного обеспечения - SQA Days-20, Минск, ноябрь.
Как обычно для читателей нашего портала действует промокод на получение 10% скидки.
Меня регулярно спрашивают, как измеряется эффективность тестировщика. Обычно я отвечаю "Зачем это вам? Чтобы что?" Мой ответ вызван желанием понять мотивы менеджмента: почему измерение эффективности конкретного человека так важно для них? Обычно этот вопрос задают именно менеджеры.
Конечно, важно знать, насколько хорошо человек справляется со своей работой и достигает поставленных целей. Но не менее важно понимать, что движет теми, кто пытается это измерять. Это делается, чтобы развивать и улучшать сотрудника, предоставить ему возможности для обучения и поддержку? Или исходя из чисто коммерческих соображений?
Поймите меня правильно, я люблю метрики. Мы измеряем кучу всяких параметров, но предельно осторожно относимся к результатам подобных измерений.
В ответ на свой вопрос я обычно слышу, что менеджеры (особенно тест-менеджеры) используют эту метрику, пытаясь обосновать, что этот тестировщик действительно стоит (или не стоит) своих денег.
Как правило, они пытаются измерять две вещи. Во-первых, одинаково ли ценны тестировщик А и тестировщик Б? Можем ли мы поменять их местами и продолжать достигать своих целей? Может, один из них лучше другого?
Во-вторых, они пытаются измерить, приносят ли тестировщик А и тестировщик Б вообще какую-то ценность (что произойдет, если мы от них избавимся?).
Зачастую это приводит к тому, что менеджеры начинают измерять какую-то дичь – скажем, количество выполненных тест-кейсов, или количество найденных багов, и считают это метрикой эффективности тестировщика.
Звучит бредово, но встречается достаточно часто! Менеджеры любят простые метрики для принятия информированных решений.
Тестирование в стартапе, конечно, отличается от тестирования в большой компании. Продукт, с которым вы работаете, часто меняется, и это неизбежно, если ваш стартап ориентирован на успешный конечный результат. Кадровые ресурсы ограничены: ваш продукт не будет тестировать целый отдел, а банальное ограничение средств может сказаться на количестве тестировщиков в команде.
Чтобы понять, как грамотно организовать тестирование будучи стартапером, лучше всего прислушаться к опыту тех, кто знает об этом не понаслышке. На прошедшей в мае конференции SQA Days 19 некоторые докладчики делились своим опытом как раз на примерах стартапа.
Ниже вы можете посмотреть записи докладов на эту тему и, кстати, узнаете не только о том, как преодолеть сложности, работая в стартапе, но и о плюсах работы в таких условиях.
Уже месяц как я провожу эксперимент по парному тестированию в моей компании. Основная его цель – распространить знания между тестировщиками разных команд, занимающихся совершенно разными приложениями и платформами.
Структура эксперимента
Изучив особенности парного тестирования, я разработала структуру своего собственного эксперимента. С моей точки зрения, нужно было четко определить мои ожидания, чтобы более двух десятков моих тестировщиков смогли получить ценный опыт.
Чтобы не звучать безапелляционно, я уделила особое внимание личной ответственности каждого тестировщика за организацию сессий и того, что будет происходить в течение них. Эксперимент никому не навязывался сверху, при этом большинство участников были воодушевлены возможностью поучиться у коллег из других команд.
Я решила, что эксперимент будет продолжаться три-четыре месяца, итеративно. В течение месяца каждая пара тестировщиков будет посвящать совместной работе один час в неделю, еженедельно меняя или проект, над которым они работают, или напарника. К примеру, Сэнди, работающая над проектом А, попала в пару к Дэнни (проект Б). В течение первой недели они тестируют проект А за столом Сэнди, затем тестируют проект Б за столом Дэнни, и так далее. В конце каждого месяца каждая пара проводит четыре сессии тестирования, работая дважды над каждым проектом.
Между итерациями команды делятся обратной связью по эксперименту как таковому и конкретным сессиям парного тестирования. При необходимости по результатам обратной связи параметры эксперимента можно изменить, прежде чем стартовать вторую итерацию.
Я надеялась, что спустя три месяца каждый участник эксперимента будет иметь четкое мнение по поводу ценности парного тестирования и того, как мы можем применять его в дальнейшем. В конце эксперимента я запланировала глубокую ретроспективу, чтобы определить наши дальнейшие действия.
Выступление Александра Орлова на онлайн-конференции для специалистов по ручному тестированию Fun ConfeT&QA.
Из своих почти 9 лет тестирования 9 лет я проработал в распределенных проектах. Поначалу был тестировщиком, потом руководил командами и отделами тестирования. Проекты были разного размера – от 7 до 150 человек, с разными технологиями и количеством тестировщиков в них.
Кто там говорит про скорость коммуникаций и сидение в одной комнате? Мы работали в двух, трех и даже пяти городах с абсолютной разницей в часовых поясах. А коммуникации нещадно обрубались юридическими отделами корпораций. :) При всем этом удавалось выпускать на рынок продукты, которыми пользовались миллионы людей, и что самое удивительное заказчики практически всегда были довольны нашей работой.
Оглянувшись назад и проанализировав свой опыт, удалось сделать несколько выводов о том, как команде тестирования работать в распределенных командах в условиях сверх-медленных коммуникаций. Этими выводами я и хотел бы поделиться.
Автор: Бен Келли (Ben Kelly)
