Все статьи

Ночной прогон брал номера и не ждал кода: как автотесты незаметно урезают лимит одновременных заказов

Ночной прогон в CI упал на трёх тестах из двадцати. Утром менеджер открывает кабинет: доля заказов с кодом за 7 дней просела, а действующий лимит одновременных заказов ниже, чем был. Деньги за заказы без кода вернулись на баланс сами, и по расходам проблему не видно. Причина обычно в одной из трёх ошибок пайплайна, и все три исправляются в коде тестов.

Как прогон тратит лимит

Сколько заказов аккаунт может держать открытыми одновременно, зависит от его репутации. Базовый потолок равен 100. Действующий лимит и текущую занятость кабинет получает с сервера, там же видна доля заказов с кодом за 7 дней. Её и нужно держать высокой, чтобы лимит не урезался.

Прогон задевает оба показателя. Занятость: открытый заказ держит место в лимите, пока его не закроют или не выйдет срок, заданный для сервиса в каталоге, сейчас это час. Всё это время деньги за него лежат в резерве. Репутация: каждый заказ, закрытый без кода, снижает долю заказов с кодом. Окно семидневное, и неделя ночных прогонов заполняет его целиком.

Номер заказан раньше, чем приложение готово отправить код

Частая схема: номер берут в setup-фикстуре или в beforeAll, чтобы был под рукой. Срок заказа пошёл с момента getNumber, а тест ещё ждёт окружение: поднимаются контейнеры, идут миграции. Если стенд не поднялся или тест пропустили, до отправки SMS дело не доходит, и заказ истекает пустым.

Вызывайте getNumber на том шаге, после которого приложение сразу отправляет код на номер. Готовность стенда проверяйте до заказа. Для подготовки хватает getPrices и getBalance: они ничего не заказывают и места в лимите не занимают.

Тест упал, а заказ остался открытым

У тестового фреймворка свой таймаут, у заказа свой. Тест подождал код пару минут, упал, процесс завершился. Заказ при этом живёт до конца срока: занимает место, держит резерв и, если код так и не пришёл, закрывается пустым.

Каждый заказ закрывайте явно в teardown, при любом исходе теста. Код получен: setStatus 6, заказ завершён. Кода нет: setStatus 8, отмена. Отмена не делает заказ успешным, но сразу освобождает место и резерв. В первую минуту отменить заказ нельзя, поэтому, если тест падает раньше, teardown должен подождать и повторить отмену, а не проглотить ошибку.

Отдельная ловушка: ретраи. Раннер перезапускает упавший тест целиком, тест снова вызывает getNumber, и на один сценарий приходится два-три заказа, из которых код получает в лучшем случае один. Для тестов с номером отключите повтор всего теста или передавайте в повтор уже открытый заказ. Ещё один код на тот же номер запрашивается через setStatus 3.

Параллельность выше нужной

В конфиге раннера 32 воркера, потому что столько ядер у CI-машины. Если каждый держит свой номер, 32 места заняты одним прогоном, а при урезанном лимите это почти весь лимит. Ручные заказы коллег с того же аккаунта делят с прогоном одну занятость.

Второй эффект: опрос. Двадцать тестов, каждый из которых вызывает getStatus раз в секунду, дают 1200 запросов в минуту. Лимит API: 600 запросов в минуту на ключ, вдвое меньше. Запросы сверх лимита отклоняются, и тест, который принимает отказ за отсутствие кода, бросает заказ. Опрашивайте раз в несколько секунд и считайте бюджет запросов на весь прогон.

Тесты, которым нужен номер, выносите в отдельную группу с меньшей параллельностью. Для CI выпустите в кабинете отдельный именованный ключ и сразу положите его в хранилище секретов: строка показывается один раз. По дате последнего использования видно, отработало ли расписание, а отзыв этого ключа не заденет основную интеграцию. Отдельного лимита заказов ключ не даёт: занятость у аккаунта одна.

Перед следующим прогоном

Для ручных заказов правила те же: берите номер, когда сервис уже готов отправить код, и закрывайте заказ сами, не дожидаясь конца срока.

Чек-лист для пайплайна:

  • getNumber стоит на шаге, после которого приложение отправляет код;
  • teardown закрывает каждый заказ через setStatus 6 или 8 и повторяет отмену, если тест упал в первую минуту;
  • ретрай не заказывает новый номер, повторный код идёт через setStatus 3;
  • воркеров с номерами не больше, чем тестов, которым нужен номер;
  • суммарный опрос getStatus укладывается в 600 запросов в минуту на ключ.

Прежде чем добавлять воркеров, откройте кабинет и сверьте действующий лимит, текущую занятость и долю заказов с кодом за 7 дней. Если доля просела после ночных прогонов, мы советуем начать с места вызова getNumber и teardown, а параллельность поднимать после.

Первый номер через минуту

Минута на регистрацию, пара минут на пополнение, код приходит за 20 секунд.

Купить номер
Без абонентской платыОтмена с возвратом в первый час