全部文章

夜间测试取了号却不等验证码:自动化测试如何悄悄压低并发订单上限

CI 夜间跑了一轮测试,20 个用例里有 3 个失败。第二天早上,经理打开后台一看:近 7 天收码订单占比下降了,当前生效的并发订单上限也比之前低。没收到验证码的订单,费用已经自动退回余额,所以光看支出发现不了问题。原因通常是流水线里三类错误中的一种,而这三类都能在测试代码里修好。

测试运行如何消耗上限

一个账户能同时保持多少个未关闭的订单,取决于它的信誉。基础上限是 100。当前生效的上限和当前占用,后台都从服务器获取,近 7 天收码订单占比也显示在同一处。要想上限不被压低,就得让这个占比保持在高位。

一次测试运行会同时影响这两项指标。先说占用:订单只要没关闭,就一直占着上限里的一个名额,直到被关闭,或者到了目录里为该服务设定的时限,目前是 1 小时。这段时间里,订单的费用一直处于冻结状态。再说信誉:每一个没收到验证码就关闭的订单,都会拉低收码订单占比。统计窗口是 7 天,一周的夜间测试就能把整个窗口填满。

号码取得太早,应用还没准备好发送验证码

常见的写法是在 setup fixture 或 beforeAll 里先把号码取好,方便后面直接用。可订单从调用 getNumber 那一刻就开始计时,测试却还在等环境就绪:容器在启动,迁移在执行。如果测试环境没起来,或者测试被跳过,流程根本走不到发送 SMS 那一步,订单最后空着过期。

在应用紧接着就会向号码发送验证码的那一步,再调用 getNumber。 测试环境是否就绪,要在下单之前检查。准备阶段用 getPrices 和 getBalance 就够了:它们不会下单,也不占上限里的名额。

测试失败了,订单却还开着

测试框架有自己的超时,订单也有自己的时限。测试等了几分钟验证码,失败了,进程随之退出。订单却会一直存在到时限结束:占着名额,冻结着费用,如果验证码始终没来,最后空着关闭。

不管测试结果如何,都要在 teardown 里显式关闭每一个订单。 收到验证码:setStatus 6,订单完成。没有验证码:setStatus 8,取消订单。取消并不会让订单算作成功,但能立刻释放名额和冻结的费用。下单后的第一分钟内无法取消,所以如果测试在这之前就失败了,teardown 应该等一等再重试取消,而不是把错误吞掉。

另一个坑是重试。运行器会把失败的测试整个重跑一遍,测试再次调用 getNumber,结果一个场景对应两三个订单,最好的情况下也只有一个能收到验证码。对需要号码的测试,要么关掉整条测试的重试,要么把已经开着的订单传给重试。同一个号码要再收一条验证码,用 setStatus 3 申请。

并行度超出实际需要

运行器配置里写了 32 个 worker,因为 CI 机器正好有 32 个核。如果每个 worker 各占一个号码,一次运行就占掉 32 个名额;上限被压低之后,这几乎就是全部额度。同事用同一个账户手动下的订单,也和测试运行共用同一份占用。

第二个影响是轮询。20 个测试,每个每秒调用一次 getStatus,加起来就是每分钟 1200 次请求。而 API 的限额是每个密钥每分钟 600 次,只有它的一半。超出限额的请求会被拒绝,如果测试把拒绝当成没有验证码,就会直接放弃订单。把轮询间隔设成几秒一次,并按整次运行来计算请求预算。

把需要号码的测试单独分成一组,调低并行度。在后台为 CI 单独生成一个命名密钥,并立即存进机密存储:密钥字符串只显示一次。看它的最后使用时间,就知道定时任务有没有跑;吊销这个密钥,也不会影响主集成。不过这个密钥不会带来单独的订单上限:一个账户只有一份占用。

下次运行之前

手动下单也是同样的规则:等服务已经准备好发送验证码时再取号,并且主动关闭订单,不要等到时限结束。

流水线检查清单:

  • getNumber 放在紧接着应用发送验证码的那一步;
  • teardown 通过 setStatus 6 或 8 关闭每一个订单,测试若在第一分钟内失败,会重试取消;
  • 重试不会新取号码,再次收码通过 setStatus 3;
  • 持有号码的 worker 数量不超过需要号码的测试数量;
  • getStatus 的总轮询量控制在每个密钥每分钟 600 次以内。

在增加 worker 之前,先打开后台,核对当前生效的上限、当前占用和近 7 天收码订单占比。如果这个占比在夜间运行后下降了,我们建议先检查 getNumber 的调用位置和 teardown,之后再提高并行度。

一分钟拿到第一个号码

注册一分钟,充值两分钟,验证码 20 秒到达。

购买号码
没有订阅费第一小时内可取消退款