夜间测试取了号却不等验证码:自动化测试如何悄悄压低并发订单上限
CI 夜间跑了一轮测试,20 个用例里有 3 个失败。第二天早上,经理打开后台一看:近 7 天收码订单占比下降了,当前生效的并发订单上限也比之前低。没收到验证码的订单,费用已经自动退回余额,所以光看支出发现不了问题。原因通常是流水线里三类错误中的一种,而这三类都能在测试代码里修好。
测试运行如何消耗上限
一个账户能同时保持多少个未关闭的订单,取决于它的信誉。基础上限是 100。当前生效的上限和当前占用,后台都从服务器获取,近 7 天收码订单占比也显示在同一处。要想上限不被压低,就得让这个占比保持在高位。
一次测试运行会同时影响这两项指标。先说占用:订单只要没关闭,就一直占着上限里的一个名额,直到被关闭,或者到了目录里为该服务设定的时限,目前是 1 小时。这段时间里,订单的费用一直处于冻结状态。再说信誉:每一个没收到验证码就关闭的订单,都会拉低收码订单占比。统计窗口是 7 天,一周的夜间测试就能把整个窗口填满。
号码取得太早,应用还没准备好发送验证码
常见的写法是在 setup fixture 或 beforeAll 里先把号码取好,方便后面直接用。可订单从调用 getNumber 那一刻就开始计时,测试却还在等环境就绪:容器在启动,迁移在执行。如果测试环境没起来,或者测试被跳过,流程根本走不到发送 SMS 那一步,订单最后空着过期。
在应用紧接着就会向号码发送验证码的那一步,再调用 getNumber。 测试环境是否就绪,要在下单之前检查。准备阶段用 getPrices 和 getBalance 就够了:它们不会下单,也不占上限里的名额。
测试失败了,订单却还开着
测试框架有自己的超时,订单也有自己的时限。测试等了几分钟验证码,失败了,进程随之退出。订单却会一直存在到时限结束:占着名额,冻结着费用,如果验证码始终没来,最后空着关闭。
不管测试结果如何,都要在 teardown 里显式关闭每一个订单。 收到验证码:setStatus 6,订单完成。没有验证码:setStatus 8,取消订单。取消并不会让订单算作成功,但能立刻释放名额和冻结的费用。下单后的第一分钟内无法取消,所以如果测试在这之前就失败了,teardown 应该等一等再重试取消,而不是把错误吞掉。
另一个坑是重试。运行器会把失败的测试整个重跑一遍,测试再次调用 getNumber,结果一个场景对应两三个订单,最好的情况下也只有一个能收到验证码。对需要号码的测试,要么关掉整条测试的重试,要么把已经开着的订单传给重试。同一个号码要再收一条验证码,用 setStatus 3 申请。
并行度超出实际需要
运行器配置里写了 32 个 worker,因为 CI 机器正好有 32 个核。如果每个 worker 各占一个号码,一次运行就占掉 32 个名额;上限被压低之后,这几乎就是全部额度。同事用同一个账户手动下的订单,也和测试运行共用同一份占用。
第二个影响是轮询。20 个测试,每个每秒调用一次 getStatus,加起来就是每分钟 1200 次请求。而 API 的限额是每个密钥每分钟 600 次,只有它的一半。超出限额的请求会被拒绝,如果测试把拒绝当成没有验证码,就会直接放弃订单。把轮询间隔设成几秒一次,并按整次运行来计算请求预算。
把需要号码的测试单独分成一组,调低并行度。在后台为 CI 单独生成一个命名密钥,并立即存进机密存储:密钥字符串只显示一次。看它的最后使用时间,就知道定时任务有没有跑;吊销这个密钥,也不会影响主集成。不过这个密钥不会带来单独的订单上限:一个账户只有一份占用。
下次运行之前
手动下单也是同样的规则:等服务已经准备好发送验证码时再取号,并且主动关闭订单,不要等到时限结束。
流水线检查清单:
- getNumber 放在紧接着应用发送验证码的那一步;
- teardown 通过 setStatus 6 或 8 关闭每一个订单,测试若在第一分钟内失败,会重试取消;
- 重试不会新取号码,再次收码通过 setStatus 3;
- 持有号码的 worker 数量不超过需要号码的测试数量;
- getStatus 的总轮询量控制在每个密钥每分钟 600 次以内。
在增加 worker 之前,先打开后台,核对当前生效的上限、当前占用和近 7 天收码订单占比。如果这个占比在夜间运行后下降了,我们建议先检查 getNumber 的调用位置和 teardown,之后再提高并行度。