Неделя регрессии бота: когда QA выгоднее аренда номера, а не пачка разовых активаций
В понедельник тестировщик заводит тестовый аккаунт для бота через разовую активацию, получает код и гоняет сценарии. В среду по тест-плану нужно проверить вход с чистого устройства, и сервис снова присылает SMS. Номер к этому времени давно вернулся к поставщику, код до тестировщика не доходит, и аккаунт с понедельничными настройками и историей становится недоступен. Причина одна: под многодневную задачу взяли продукт, рассчитанный на одну регистрацию.
Что покупается в разовой активации
Разовая активация даёт номер под один сервис на ограниченное время. Срок берётся из каталога конкретного сервиса и сейчас равен часу. За это время приходит код, вы его вводите, и с получением SMS услуга считается оказанной. Если код не пришёл до конца срока, деньги сами возвращаются на внутренний баланс. Отменить заказ до прихода кода тоже можно, но не раньше чем через минуту после покупки.
Чтобы один раз завести тестовый аккаунт, этого достаточно. Регрессия идёт несколько дней, и тестировщику нужен тот же номер снова и снова, а разовая активация его не удерживает.
Где регрессия спотыкается
Возьмём условную команду, которая проверяет бота перед релизом. Прогоны идут каждый день, и в тест-плане есть кейсы, завязанные на телефон:
- вход в тестовый аккаунт после сброса сессии или на новом устройстве;
- восстановление доступа по SMS;
- повторная верификация, которую сервис запрашивает после смены настроек;
- тот же сценарий заново после хотфикса.
На разовых активациях каждый такой кейс означает новую покупку. Новый номер даёт новый аккаунт без истории, и сравнивать результат с прошлым прогоном уже некорректно: поменялось окружение, а не только код бота. Бывает, что свежий номер уже привязан к чужому аккаунту, и кейс падает по причине, которая к релизу отношения не имеет.
Прежний номер можно вернуть кнопкой «Купить снова»: истёкший номер покупается повторно, и ваш собственный кулдаун этому не мешает. Но каждый такой вход оплачивается отдельно. А если симка поставщика в этот момент офлайн, прогон ждёт, пока её вернут в работу.
Как аренда закрывает неделю
Аренда номера под один сервис продаётся на 1, 3 или 7 дней. Весь срок номер работает на вас под выбранный сервис, и повторные SMS-коды на него приходят бесплатно до конца аренды. В этом и смысл аренды номера для тестирования: тестовый аккаунт живёт на одном номере с первого прогона до последнего, а вход после сброса сессии не требует новой покупки.
Срок подбирается под цикл:
- 1 день: проверка хотфикса или smoke-прогон перед выкладкой;
- 3 дня: сжатая регрессия в середине недели;
- 7 дней: полная неделя от первого прогона до релиза.
Если релиз сдвинулся и аренда закончилась раньше тестов, тот же номер покупается снова, так аренда и продлевается. Если симка поставщика ушла в офлайн посреди цикла, из кабинета можно отправить ему просьбу вернуть её в работу.
Ограничений два. Кнопки показывают только те сроки, которые продаёт выбранный сервис, так что нужного срока может не оказаться. И пришедший код не гарантирует, что сторонний сервис пропустит вход или регистрацию: у каждой площадки свои проверки, и тестовые аккаунты заводятся по её правилам.
Как посчитать для своего сервиса
Готовых цифр мы не приводим: цены задают поставщики, и по сервисам и странам они разные. Сравнение делается в три шага:
- Выпишите из тест-плана кейсы, которым нужен код, и умножьте их число на количество прогонов за цикл. Получится число входов на один тестовый аккаунт.
- Умножьте это число на цену разовой активации для вашего сервиса и страны.
- Сравните результат с ценой аренды на срок цикла: 1, 3 или 7 дней.
Если кейс с кодом в плане один и повторять его не придётся, берите активацию. Если входов несколько и они растянуты по дням, аренда в любом случае убирает смену номера между прогонами, а третий шаг покажет разницу в деньгах. Для нескольких тестовых аккаунтов пригодится витрина: там виден остаток каждого поставщика, так что можно выбрать того, у кого хватает номеров, или не выбирать, и тогда номер возьмётся у самого дешёвого.
Откройте окно заказа, выберите сервис и страну своих тестовых аккаунтов и сравните цену разовой активации с арендой на 1, 3 и 7 дней. Цены и наличие видны до оплаты. Посмотреть их можно и без входа, через «Смотреть цены» на главной, а купить можно после входа в кабинет.