Перейти к содержимому

Фотография

Сравнение инструментов для автоматизированного тестирования


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 38

#1 July Kuzmicheva

July Kuzmicheva

    Специалист

  • Members
  • PipPipPipPipPip
  • 518 сообщений

Отправлено 17 сентября 2018 - 09:07

Автор: доктор Vu Nguyen, преподаватель, директор Инженерной службы KMS Technology

 

Перевод: Колесникова Виктория - инженер-тестировщик  компании Bercut, Telegram: t.me/lifeoftesting

 

Определяющий фактор для успешного применения автоматизации тестирования программного обеспечения - выбор и использование правильного набора средств автоматизации тестирования. Это сложная задача, особенно для тех, кто раньше не сталкивался с автоматизацией тестирования, поскольку на рынке существует очень много инструментов, каждый из которых имеет разные сильные и слабые стороны. Нет инструмента, который бы соответствовал всем требованиям автоматизированного тестирования. Это затрудняет поиск подходящего решения. Узнайте, как правильно выбрать средство автоматизации для вашего проекта из приведенного ниже подробного сравнения Katalon Studio с другими популярными инструментами для автоматизации тестирования на рынке.

 

Читать публикацию полностью


  • 0

#2 Spock

Spock

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 17 сентября 2018 - 09:47

из статьи понятно что Каталон намного лучше "Селениума", а с "Селениумом" одни проблемы и сложности и тесты медленно пишутся, да и функционал у "Селениума" никакой - нет ни тестирования через АПИ, ни обработки результатов

 

совершенно непонятно тогда зачем большинство компаний используют "Селениум" а не Каталон, наверное мазохисты


  • 1

#3 TatyanaV

TatyanaV

    Опытный участник

  • Members
  • PipPipPipPip
  • 388 сообщений
  • ФИО:Воробьева Татьяна


Отправлено 17 сентября 2018 - 10:05

Автор статьи - сотрудник KMS Technology, а те в свою очередь - разработчики Каталона. Вполне естесственно, что они своё творение нахваливают. Тем более, что оригинал статьи - на сайте Каталона. Было бы даже странно, если бы они раскритиковали его и стали нахваливать что-то другое.

 

Каталон неплохой ресурс для начинающих, либо не имеющих опыта разработки на каком-нибудь ЯП (т.к. позволяет до определенной степени сложности писать тесты вообще без ЯП). Юзерфрендли, но со своими тараканами. Тем более, что и код на ЯП там тоже вполне можно писать при желании.

Селениум без знания ЯП - никак, Каталон - распаковал и пошел тесты делать.

 

п.с.: справедливости ради, на чистом селениуме времени на тест с нуля действительно нужно будет больше, чем в Каталоне.

п.п.с.: пишу на селениуме, но и с Каталоном знакома на практике.


  • 1

#4 Snap

Snap

    Специалист

  • Members
  • PipPipPipPipPip
  • 980 сообщений
  • ФИО:Роман
  • Город:Москва


Отправлено 18 сентября 2018 - 07:48

из статьи понятно что Каталон намного лучше "Селениума", а с "Селениумом" одни проблемы и сложности и тесты медленно пишутся, да и функционал у "Селениума" никакой - нет ни тестирования через АПИ, ни обработки результатов

 

совершенно непонятно тогда зачем большинство компаний используют "Селениум" а не Каталон, наверное мазохисты

Наверное, потому что Каталон более молодой проект и еще не успел завоевать популярность :yes: (если вообще сумеет).

Надеюсь, у Каталон получится лучше, чем у коллег-индусов по Sahi Pro.


  • 1

#5 Spock

Spock

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 18 сентября 2018 - 08:45

ну тогда и Гуглу уже пора переходить на Каталон, а то сколько денег теряют из-за того что тесты пишутся "медленно"


  • 0

#6 TatyanaV

TatyanaV

    Опытный участник

  • Members
  • PipPipPipPip
  • 388 сообщений
  • ФИО:Воробьева Татьяна


Отправлено 18 сентября 2018 - 10:11

ну тогда и Гуглу уже пора переходить на Каталон, а то сколько денег теряют из-за того что тесты пишутся "медленно"

Это сарказм? Если да - то весьма странный.

Если у Вас нет никакого опыта, но Вам нужны тесты и нет много времени на изучение ЯП - Вы берете каталон и автоматизируете.

Если у Вас куча опыта, знание ЯП и т.д. - берёте селениум и пишете свой код.

Причем тут гугл то?

 

Да, написание теста с нуля на селениуме несколько дольше, т.к. вручную (это просто констатация факта, а не критика), но разве где-то сказано, что это фатальный недостаток из-за которого все должны удалить селениум и забыть его как страшный сон?

 

Каждый, кого тема интересует - сравнивает инструменты и выбирает тот, которые для него удобнее / оптимальнее и т.д.

Никто не заставляет Вас на Каталон переходить.

Воспринимайте эту статью как саморекламу разработчиков Каталона.


  • 0

#7 Spock

Spock

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 18 сентября 2018 - 10:59

 

 

Воспринимайте эту статью как саморекламу разработчиков Каталона.

имею ввиду что менеджеры и остальное начальство прочитают такую статью и "убедятся" в том что Каталон намного лучше "Селениума", и соответственно пойдут его внедрять

 

причём же тут Гугл - если Гугл использует веб-драйвер, то значит он чем-то лучше чем Каталон, даже чем-то значительно лучше чем Каталон? а вот в сравнении умалчивается что у веб-драйвера есть вот такое значительное преимущество над Каталоном

 

получается что инструменты сравнили, но о самом слабом месте Каталона и о самом важном преимуществе веб-драйвера молчок


  • 0

#8 TatyanaV

TatyanaV

    Опытный участник

  • Members
  • PipPipPipPip
  • 388 сообщений
  • ФИО:Воробьева Татьяна


Отправлено 18 сентября 2018 - 11:25

Уточните, пожалуйста, что именно Вы подразумеваете под неупомянутыми "самым слабом местом Каталона" и "самым важным преимуществом веб-драйвера"? (может мы с Вами просто о разных вещах говорим)


  • 0

#9 Spock

Spock

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 18 сентября 2018 - 13:32

тесты для веб-драйвера пишутся на IDE для соответствующего языка программирования

поэтому тесты намного легче поддерживать и рефакторить используя мощные средства-тулзы в ИДЕ

 

плюс в ИДЕ тесты можно писать намного более гибко, используя любые конструкции, так как ты ничем не ограничен


  • 0

#10 TatyanaV

TatyanaV

    Опытный участник

  • Members
  • PipPipPipPip
  • 388 сообщений
  • ФИО:Воробьева Татьяна


Отправлено 18 сентября 2018 - 14:03

В Каталоне я в скрипты пробовала просто вставлять целиком куски на Java - никаких проблем, никаких ограничений. Вроде бы даже сторонние библиотеки можно прикрутить.

А вот первый пункт (про удобство IDE для разработки кода) - это да.

Но чистый селениум в принципе предназначен для полноценной разработки с его использованием, а у Каталона это просто удобная возможность для тех, кто владеет ЯПом. Хотя Каталон - это модифицированный Eclipse, так что что-то от IDE в нём все же есть, хотя до IDEA ему далеко (но и цели у этих софтин разные).

 

Учитывая то, как описан Каталон в статье - не думаю, что Ваши слова о том, что об этом ни слова не сказано - справедливы.

В статье подчеркивается, что основная фишка Каталона - быстрота, с которой новый пользователь может начать писать тесты, с помощью самого Каталона, а не кусками кода на ЯП.

 

Мне кажется, Вы пытаетесь притянуть чистый Селениум и Каталон под одну и ту же целевую аудиторию, а она то у них как раз отнюдь не одна и таже. Селениум - для опытных и владеющих ЯП тестировщиков-автоматизаторов, Каталон - практически для кого угодно, соответственно и заточен под тех, у кого опыта автоматизации меньше, а знания ЯП может быть и вообще нет.


  • 0

#11 Snap

Snap

    Специалист

  • Members
  • PipPipPipPipPip
  • 980 сообщений
  • ФИО:Роман
  • Город:Москва


Отправлено 18 сентября 2018 - 14:05

 

ну тогда и Гуглу уже пора переходить на Каталон, а то сколько денег теряют из-за того что тесты пишутся "медленно"

Это сарказм? Если да - то весьма странный.

Я к этому уже привык.

 

Лично я даже статью не читал. Но думаю, в Гугле не дурачки работают, чтобы сразу же бросать наработанные годами тесты и переходить на первый попавшийся молодой продукт (даже если в нем якобы есть плюсы). Через пару-тройку лет, если проект устаканится, будет видно. Еще мне кажется, в Гугле не любят использовать стороннее ПО, кроме библиотек, типа WebDriver. К слову, я ничего не сказал о том, что Каталон лучше Селениум.

 

Кстати правильно я понимаю, что WebDriver получил статус "Recommendation" 5 июня 2018 года - https://www.w3.org/TR/webdriver/ ?


  • 0

#12 Spock

Spock

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 18 сентября 2018 - 14:21

 

 

Еще мне кажется, в Гугле не любят использовать стороннее ПО, кроме библиотек, типа WebDriver.

он не сторонний. они сами кстати активно участвуют в разработке

 

 

 

Katalon Studio uses the Selenium engine for automated testing of Web applications. This means that Katalon uses the Selenium WebDriver framework and hides the complexities of dealing with WebDriver from users. You don’t have to care about WebDriver but instead work with Katalon keywords only.

то есть Каталон это просто надстройка над веб-драйвером, которая использует ключевые слова, со всеми вытекающими их недостатками

 

конечно с ключевыми словами легко начать делать проект, и тесты будут писаться "быстро", но когда количество тестов перевалит за например сотню и возраст за пару лет и когда будут рефакторинги и расширение фреймворка - тогда уже будут заметно чувствоваться недостатки ключевых слов, и это замедлит проект


  • 0

#13 Snap

Snap

    Специалист

  • Members
  • PipPipPipPipPip
  • 980 сообщений
  • ФИО:Роман
  • Город:Москва


Отправлено 18 сентября 2018 - 14:57

Еще мне кажется, в Гугле не любят использовать стороннее ПО, кроме библиотек, типа WebDriver.

он не сторонний. они сами кстати активно участвуют в разработке

Еще бы, проект как бы open-source.

 

Если они "сами активно участвуют в разработке", но по вашим словам, при этом сами его не используют, наводит на мысли, а возможно в этом и кроется ответ.


  • 0

#14 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 871 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 18 сентября 2018 - 17:59

он не сторонний. они сами кстати активно участвуют в разработке

 

Справедливости ради надо заметить, что Google сейчас (и уже достаточно давно, пару лет, наверное) не участвует в разработке Selenium, даже в качестве спонсора не участвует.

 

И драйвер свой (chromedriver) очень вяло обновляет, в том числе долго не исправляет критические баги, приводящие к крэшам. И даже развивает конкурирующий продукт Puppeteer, то есть тянет одеяло на себя, от кроссбраузерной автоматизации в сторону "chrome only".


  • 1
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#15 MikhailS

MikhailS

    Новый участник

  • Members
  • Pip
  • 16 сообщений


Отправлено 06 октября 2018 - 19:02

Мне перевод не нравится:D Статья тоже не нравится:D

Особенно таблица сравнения инструментов. Когда пишут, что Selenium система, а не драйвер для браузера и что он сложный в освоении сразу намекает, что автор ну такой себе эксперт.

Или вот из статьи про каталон:

"Не требуется. Рекомендован для расширенного написания тестовых сценариев" - кем рекомендован, почему не требуется скилл. Моя бабушка сможет пользоваться?

Скорость создания сценария на селениуме низкая? - ну секунды 20 надо чтобы тест написать простой.

Короче не статья, а куча воды ни о чем.


  • 0

#16 TatyanaV

TatyanaV

    Опытный участник

  • Members
  • PipPipPipPip
  • 388 сообщений
  • ФИО:Воробьева Татьяна


Отправлено 08 октября 2018 - 09:06

Или вот из статьи про каталон:

"Не требуется. Рекомендован для расширенного написания тестовых сценариев" - кем рекомендован, почему не требуется скилл. Моя бабушка сможет пользоваться?

В том то и дело, что для простых случаев - да.

Установить, нажать кнопочку "запись", сделать в браузере то, что нужно, остановить запись. Простейший скрипт готов.

 

20 секунд? На то, чтобы с нуля описать страницу, локаторы, что надо сделать? На форме с кучей полей? Мне кажется вы лукавите, либо просто учитываете свой уже давно написанный фреймворк.

 

п.с.: я не агитирую за Каталон, я за справедливость и непредвзятое отношение. Каталон не для опытных владеющих ЯПом, а для новичков и/или тех, кто с программированием не знаком.


  • 0

#17 MikhailS

MikhailS

    Новый участник

  • Members
  • Pip
  • 16 сообщений


Отправлено 08 октября 2018 - 09:38

 

Или вот из статьи про каталон:

"Не требуется. Рекомендован для расширенного написания тестовых сценариев" - кем рекомендован, почему не требуется скилл. Моя бабушка сможет пользоваться?

В том то и дело, что для простых случаев - да.

Установить, нажать кнопочку "запись", сделать в браузере то, что нужно, остановить запись. Простейший скрипт готов.

 

20 секунд? На то, чтобы с нуля описать страницу, локаторы, что надо сделать? На форме с кучей полей? Мне кажется вы лукавите, либо просто учитываете свой уже давно написанный фреймворк.

 

п.с.: я не агитирую за Каталон, я за справедливость и непредвзятое отношение. Каталон не для опытных владеющих ЯПом, а для новичков и/или тех, кто с программированием не знаком.

 

 

Ну смотрите, ну написала горе обезьянка этот тест, а встроит в CI его кто? Если тест застопорится кто с этим будет разбираться и т.п.?:) В итоге вы придете все равно к тому, что для поддержки этого самого Katalon вам нужен отдельный человек не с нулевым скиллом, который умеет кодить, понимает в CI и т.п., а еще добавьте сюда проприетарное знание Katalon. В любом случае там под капотом код, получаете багу надо лезть разбираться где она там и т.п. это еще выше скилл.

Научить писать простенькие тесты (типа того, что вы описали) на питоне используя селениум ручного тестировщика занимает 1 неделю. За 2 месяца этот человек будет способен решать любые задачи в части автоматизации ui без привязки к конкретному софту (типа Katalon).

Если вы работаете в области разработки, то программировать надо уметь. Тестирование в т.ч. ручное - это часть работы в области разработки. Задачу, которую вы описываете - это в стиле как слепого научить видеть радугу или как без рук начать водить автомобиль.


  • 0

#18 TatyanaV

TatyanaV

    Опытный участник

  • Members
  • PipPipPipPip
  • 388 сообщений
  • ФИО:Воробьева Татьяна


Отправлено 08 октября 2018 - 10:05

Я знаю людей, которые его легко и быстро освоили и успешно пишут свои тесты без опыта в программировании и без помощи других сотрудников "с ненулевым скиллом". Достаточно серьезные тесты. Разобрались и вникли без проблем. 

 

Встроит в CI? А оно нужно прям сразу для тех, кто с автоматизацией только знакомится? Кстати, встроить каталоновский тест не так уж и сложно. Сам каталон нажатием одной кнопки выдает готовую команду для запуска теста через консоль.

 

Если хотите аналогии, Каталон - инструмент для облечения изучения основ правил дорожного движения с симулятором органов управления автомобилем (как в автошколах), а Вы возмущаетесь, кому это нужно, надо сразу за грузовики с прицепами, автобусы с кучей пассажиров и гоночные болиды садиться.

 

п.с.: Ваши примеры в современном мире уже давно хоть и сложные, но вполне возможные вещи.


  • 0

#19 Spock

Spock

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 08 октября 2018 - 10:35

 

 

Я знаю людей, которые его легко и быстро освоили и успешно пишут свои тесты без опыта в программировании и без помощи других сотрудников "с ненулевым скиллом". Достаточно серьезные тесты. Разобрались и вникли без проблем. 

писать тесты нет проблем, это так. А вот когда надо расширять проект, когда будут сотни тестов, когда будет нужен рефакторинг - тогда вот возникнут проблемы с Каталоном

 

да, вы научили человека ездить, но ведь ему не дашь фуру чтобы отогнать ее на Дальний Восток


  • 0

#20 TatyanaV

TatyanaV

    Опытный участник

  • Members
  • PipPipPipPip
  • 388 сообщений
  • ФИО:Воробьева Татьяна


Отправлено 08 октября 2018 - 11:05

да, вы научили человека ездить, но ведь ему не дашь фуру чтобы отогнать ее на Дальний Восток

Вся прелесть в том, что Я - не учила. Люди освоили самостоятельно в том объёме, которым им на данном этапе нужен.

 

К слову, я тоже когда-то начинала не с чистого селениума. Первые мои тесты были на IDE. И уже потом, поняв, что IDE не может всего того, что мне нужно - я начала изучать и использовать уже Selenium WebDriver.

 

При изучении той же джавы с нуля тоже начинают учить не сразу с исключений, работы с сетью и т.д.. Всё постепенно. 

Меняется опыт, меняются знания, меняются инструменты.


  • 0


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных