Ночной прогон брал номера и не ждал кода: как автотесты незаметно урезают лимит одновременных заказов
Ночной прогон в CI упал на трёх тестах из двадцати. Утром менеджер открывает кабинет: доля заказов с кодом за 7 дней просела, а действующий лимит одновременных заказов ниже, чем был. Деньги за заказы без кода вернулись на баланс сами, и по расходам проблему не видно. Причина обычно в одной из трёх ошибок пайплайна, и все три исправляются в коде тестов.
Как прогон тратит лимит
Сколько заказов аккаунт может держать открытыми одновременно, зависит от его репутации. Базовый потолок равен 100. Действующий лимит и текущую занятость кабинет получает с сервера, там же видна доля заказов с кодом за 7 дней. Её и нужно держать высокой, чтобы лимит не урезался.
Прогон задевает оба показателя. Занятость: открытый заказ держит место в лимите, пока его не закроют или не выйдет срок, заданный для сервиса в каталоге, сейчас это час. Всё это время деньги за него лежат в резерве. Репутация: каждый заказ, закрытый без кода, снижает долю заказов с кодом. Окно семидневное, и неделя ночных прогонов заполняет его целиком.
Номер заказан раньше, чем приложение готово отправить код
Частая схема: номер берут в setup-фикстуре или в beforeAll, чтобы был под рукой. Срок заказа пошёл с момента getNumber, а тест ещё ждёт окружение: поднимаются контейнеры, идут миграции. Если стенд не поднялся или тест пропустили, до отправки SMS дело не доходит, и заказ истекает пустым.
Вызывайте getNumber на том шаге, после которого приложение сразу отправляет код на номер. Готовность стенда проверяйте до заказа. Для подготовки хватает getPrices и getBalance: они ничего не заказывают и места в лимите не занимают.
Тест упал, а заказ остался открытым
У тестового фреймворка свой таймаут, у заказа свой. Тест подождал код пару минут, упал, процесс завершился. Заказ при этом живёт до конца срока: занимает место, держит резерв и, если код так и не пришёл, закрывается пустым.
Каждый заказ закрывайте явно в teardown, при любом исходе теста. Код получен: setStatus 6, заказ завершён. Кода нет: setStatus 8, отмена. Отмена не делает заказ успешным, но сразу освобождает место и резерв. В первую минуту отменить заказ нельзя, поэтому, если тест падает раньше, teardown должен подождать и повторить отмену, а не проглотить ошибку.
Отдельная ловушка: ретраи. Раннер перезапускает упавший тест целиком, тест снова вызывает getNumber, и на один сценарий приходится два-три заказа, из которых код получает в лучшем случае один. Для тестов с номером отключите повтор всего теста или передавайте в повтор уже открытый заказ. Ещё один код на тот же номер запрашивается через setStatus 3.
Параллельность выше нужной
В конфиге раннера 32 воркера, потому что столько ядер у CI-машины. Если каждый держит свой номер, 32 места заняты одним прогоном, а при урезанном лимите это почти весь лимит. Ручные заказы коллег с того же аккаунта делят с прогоном одну занятость.
Второй эффект: опрос. Двадцать тестов, каждый из которых вызывает getStatus раз в секунду, дают 1200 запросов в минуту. Лимит API: 600 запросов в минуту на ключ, вдвое меньше. Запросы сверх лимита отклоняются, и тест, который принимает отказ за отсутствие кода, бросает заказ. Опрашивайте раз в несколько секунд и считайте бюджет запросов на весь прогон.
Тесты, которым нужен номер, выносите в отдельную группу с меньшей параллельностью. Для CI выпустите в кабинете отдельный именованный ключ и сразу положите его в хранилище секретов: строка показывается один раз. По дате последнего использования видно, отработало ли расписание, а отзыв этого ключа не заденет основную интеграцию. Отдельного лимита заказов ключ не даёт: занятость у аккаунта одна.
Перед следующим прогоном
Для ручных заказов правила те же: берите номер, когда сервис уже готов отправить код, и закрывайте заказ сами, не дожидаясь конца срока.
Чек-лист для пайплайна:
- getNumber стоит на шаге, после которого приложение отправляет код;
- teardown закрывает каждый заказ через setStatus 6 или 8 и повторяет отмену, если тест упал в первую минуту;
- ретрай не заказывает новый номер, повторный код идёт через setStatus 3;
- воркеров с номерами не больше, чем тестов, которым нужен номер;
- суммарный опрос getStatus укладывается в 600 запросов в минуту на ключ.
Прежде чем добавлять воркеров, откройте кабинет и сверьте действующий лимит, текущую занятость и долю заказов с кодом за 7 дней. Если доля просела после ночных прогонов, мы советуем начать с места вызова getNumber и teardown, а параллельность поднимать после.