Todos los artículos

La ejecución nocturna pedía números y no esperaba el código: cómo las pruebas automáticas recortan sin que lo notes tu límite de pedidos simultáneos

Una ejecución nocturna de CI falló en tres pruebas de veinte. Por la mañana, un responsable abre el panel. La proporción de pedidos con código de los últimos 7 días ha bajado, y el límite vigente de pedidos simultáneos es menor que antes. El dinero de los pedidos sin código volvió solo al saldo, así que el problema no se ve en los gastos. La causa suele ser uno de tres errores del pipeline, y los tres se corrigen en el código de las pruebas.

Cómo una ejecución consume el límite

Cuántos pedidos puede tener abiertos una cuenta a la vez depende de su reputación. El tope base es 100. El panel recibe del servidor el límite vigente y la ocupación actual, y también muestra la proporción de pedidos con código de los últimos 7 días. Ese es el número que hay que mantener alto para que no te recorten el límite.

Una ejecución afecta a los dos indicadores. Primero, la ocupación. Un pedido abierto ocupa un espacio del límite hasta que se cierra o hasta que se agota su tiempo. Ese tiempo se fija en el catálogo para cada servicio y ahora mismo es de una hora. Durante todo ese periodo, el dinero del pedido permanece en reserva. Segundo, la reputación. Cada pedido cerrado sin código reduce la proporción de pedidos con código. La ventana es de siete días, y una semana de ejecuciones nocturnas la llena por completo.

El número se pide antes de que la app esté lista para enviar el código

Un patrón frecuente es este. El número se pide en una fixture de setup o en beforeAll para tenerlo listo cuando haga falta. El reloj del pedido empieza a correr con getNumber, pero la prueba todavía está esperando al entorno: los contenedores están arrancando, las migraciones se están ejecutando. Si el entorno no arranca o la prueba se omite, el SMS no llega a enviarse y el pedido expira vacío.

Llama a getNumber justo en el paso tras el cual la app envía de inmediato un código a ese número. Comprueba que el entorno está listo antes de pedir. Para la preparación bastan getPrices y getBalance. No piden nada y no ocupan ningún espacio del límite.

La prueba falló, pero el pedido quedó abierto

El framework de pruebas tiene su propio tiempo de espera, y el pedido tiene el suyo. La prueba esperó el código un par de minutos, falló y el proceso terminó. El pedido, mientras tanto, sigue vivo hasta que se agota su tiempo. Ocupa un espacio, mantiene la reserva y, si el código no llega nunca, se cierra vacío.

Cierra cada pedido de forma explícita en teardown, sea cual sea el resultado de la prueba. Código recibido: setStatus 6, y el pedido queda finalizado. Sin código: setStatus 8, y el pedido queda cancelado. Cancelar no convierte el pedido en un éxito, pero libera de inmediato el espacio y la reserva. Un pedido no se puede cancelar durante su primer minuto. Por eso, si la prueba falla antes, teardown debe esperar y reintentar la cancelación en lugar de tragarse el error.

Los reintentos son una trampa aparte. El runner vuelve a ejecutar desde cero la prueba fallida, la prueba llama otra vez a getNumber y un mismo escenario acaba con dos o tres pedidos. En el mejor de los casos, uno de ellos recibe código. En las pruebas que usan un número, desactiva los reintentos de la prueba completa o pasa al reintento el pedido que ya está abierto. Para pedir otro código al mismo número, usa setStatus 3.

Más paralelismo del necesario

La configuración del runner tiene 32 workers porque esos son los núcleos de la máquina de CI. Si cada worker mantiene su propio número, una sola ejecución ocupa 32 espacios, y con un límite reducido eso es casi todo el límite. Los pedidos manuales que tus compañeros hacen desde la misma cuenta comparten esa ocupación con la ejecución.

El segundo efecto son las consultas de estado. Veinte pruebas que llaman a getStatus una vez por segundo suman 1200 peticiones por minuto. El límite de la API es de 600 peticiones por minuto por clave, es decir, la mitad. Las peticiones que superan el límite se rechazan, y una prueba que interpreta un rechazo como «no hay código» abandona el pedido. Consulta cada pocos segundos y calcula el presupuesto de peticiones para toda la ejecución.

Pasa las pruebas que necesitan un número a un grupo aparte con menos paralelismo. Para CI, emite en el panel una clave aparte con su propio nombre y guárdala enseguida en tu almacén de secretos, porque la clave se muestra una sola vez. La fecha de último uso te dice si la ejecución programada se lanzó de verdad, y revocar esta clave no afectará a tu integración principal. Eso sí, la clave no trae un límite de pedidos propio. La cuenta tiene una única ocupación compartida.

Antes de la próxima ejecución

Las mismas reglas valen para los pedidos manuales. Pide el número cuando el servicio ya esté listo para enviar el código, y cierra el pedido tú mismo en lugar de esperar a que expire.

Lista de comprobación para el pipeline:

  • getNumber está en el paso tras el cual la app envía el código;
  • teardown cierra cada pedido con setStatus 6 u 8 y reintenta la cancelación si la prueba falló en el primer minuto;
  • un reintento no pide un número nuevo, y el código repetido se solicita con setStatus 3;
  • no hay más workers con número que pruebas que necesitan un número;
  • el total de consultas a getStatus no pasa de 600 peticiones por minuto por clave.

Antes de añadir workers, abre el panel y revisa el límite vigente, la ocupación actual y la proporción de pedidos con código de los últimos 7 días. Si la proporción bajó después de las ejecuciones nocturnas, recomendamos empezar por el punto donde se llama a getNumber y por teardown, y subir el paralelismo solo después.

Tu primer número en un minuto

Registrarse lleva un minuto, recargar un par más, y el código llega en 20 segundos.

Comprar número
Sin cuota mensualCancelación con reembolso en la primera hora