全部文章

机器人回归测试周:什么情况下 QA 租号比买一堆单次激活更划算

周一,测试人员用单次激活给机器人注册了一个测试账号,收到验证码后开始跑测试场景。到了周三,测试计划要求在一台干净的设备上验证登录,服务又发来一条短信。可这时号码早就回到了供应商手里,验证码收不到,这个带着周一配置和历史记录的账号也就登不进去了。原因只有一个:一个要持续好几天的任务,用的却是只够完成一次注册的产品。

单次激活买到的是什么

单次激活会给你一个号码,只能用于一个服务,而且有时间限制。时长以该服务在目录中的设置为准,目前均为 1 小时。在这段时间里验证码到达,你输入进去;收到短信即视为服务已完成。如果到期前验证码没来,款项会自动退回站内余额。验证码到达前也可以取消订单,但要等购买满一分钟之后。

如果只是注册一次测试账号,这就够了。但回归测试要持续好几天,测试人员需要一次又一次用到同一个号码,而单次激活留不住这个号码。

回归测试卡在哪里

假设有一个团队,要在发布前测试机器人。每天都跑一轮,测试计划里有一些依赖手机号的用例:

  • 会话重置后或在新设备上登录测试账号;
  • 通过短信找回访问权限;
  • 修改设置后服务要求的重新验证;
  • 热修复之后把同一个场景再跑一遍。

用单次激活的话,每个这样的用例都意味着重新买一次。新号码就是一个没有历史记录的新账号,再拿结果和上一轮对比就不准确了:变的不只是机器人的代码,测试环境也变了。还有一种情况,新号码已经绑定了别人的账号,用例因此失败,而失败原因跟这次发布毫无关系。

原来的号码可以用“再次购买”按钮拿回来:已过期的号码可以重新购买,你自己的冷却期不会挡住这一步。但每次这样登录都要单独付费。如果此时供应商的 SIM 卡处于离线状态,这一轮测试就只能等它重新上线。

租号如何撑满一整周

针对单个服务的号码租用,按 1 天、3 天或 7 天出售。整个租期内,这个号码专供你在所选服务上使用,租期结束前重复收取短信验证码都不另收费。这正是用租号做测试的意义:测试账号从第一轮到最后一轮都绑在同一个号码上,会话重置后再登录也不用重新购买。

租期按测试周期来选:

  • 1 天:验证热修复,或上线前跑一轮冒烟测试;
  • 3 天:周中的压缩版回归测试;
  • 7 天:从第一轮测试到发布的完整一周。

如果发布推迟,租期在测试结束前就到了,再次购买同一个号码即可,租期就这样续上了。如果供应商的 SIM 卡在周期中途掉线,可以在个人中心给供应商发请求,让他把卡重新上线。

限制有两点。按钮只会显示所选服务在售的租期,所以你需要的时长不一定有。另外,收到验证码并不代表第三方服务一定会放行登录或注册:每个平台都有自己的校验,测试账号也要按平台的规则来注册。

如何按自己的服务算一笔账

这里我们不给现成的数字:价格由供应商定,不同服务、不同国家的价格也不一样。比较分三步:

  1. 从测试计划里列出需要验证码的用例,把用例数乘以一个周期内的测试轮数,得到的就是单个测试账号的登录次数。
  2. 用这个次数乘以你所用服务和国家的单次激活价格。
  3. 把结果和对应周期的租号价格比一比:1 天、3 天或 7 天。

如果计划里只有一个需要验证码的用例,而且不用重复跑,就选单次激活。如果要登录好几次,还分散在不同的日子里,租号无论如何都能省掉每轮之间换号的麻烦,第三步则能算出具体差多少钱。需要多个测试账号时,供应商展示页会很有用:那里能看到每个供应商的剩余号码数量,你可以挑一个号码够用的供应商,也可以不挑,这时系统会从最便宜的供应商那里分配号码。

打开下单窗口,选好测试账号对应的服务和国家,把单次激活的价格和 1 天、3 天、7 天的租号价格对比一下。价格和库存在付款前就能看到。不登录也能查看,在首页点“查看价格”即可;购买则需要先登录个人中心。

  • 企业与开发者

    测试预算要约束付费动作的启动,而不只是写在任务说明里

    任务里写了预算,并不代表夜间测试一定会遵守它。如果程序遇到错误后继续启动新的购买,原先的数字就只是一个备注。围绕 SimAggregator 编写测试工具时,可以把每次付费动作的启动条件与当前测试的预算联系起来。

  • 企业与开发者

    三个层级都在重试时,应由谁决定再次发送?

    网络库自动重试,后台任务也安排重试,用户又点击了一次按钮。一次连接问题于是变成了几个彼此独立的再次发送决定。设计 SimAggregator 集成时,可以先画出所有可能重新执行动作的位置,包括界面事件、任务调度和通信库。

一分钟拿到第一个号码

注册一分钟,充值两分钟,验证码 20 秒到达。

购买号码
没有订阅费第一小时内可取消退款