रात के रन ने नंबर लिए और कोड का इंतज़ार नहीं किया: ऑटोमेटेड टेस्ट कैसे चुपचाप एक साथ चल रहे ऑर्डरों की आपकी सीमा घटा देते हैं
CI के रात के रन में बीस में से तीन टेस्ट फ़ेल हो गए। सुबह मैनेजर पैनल खोलता है। 7 दिनों में कोड वाले ऑर्डरों का हिस्सा गिर गया है, और एक साथ चल रहे ऑर्डरों की मौजूदा सीमा पहले से कम है। बिना कोड वाले ऑर्डरों का पैसा अपने आप बैलेंस में लौट आया, इसलिए खर्च में समस्या नज़र नहीं आती। वजह आम तौर पर पाइपलाइन की तीन ग़लतियों में से एक होती है, और तीनों टेस्ट के कोड में ठीक की जाती हैं।
रन सीमा को कैसे खर्च करता है
कोई खाता एक साथ कितने ऑर्डर खुले रख सकता है, यह उसकी साख पर निर्भर करता है। बुनियादी ऊपरी सीमा 100 है। मौजूदा सीमा और मौजूदा इस्तेमाल पैनल को सर्वर से मिलते हैं, और वहीं पिछले 7 दिनों में कोड वाले ऑर्डरों का हिस्सा भी दिखता है। इसी आँकड़े को ऊँचा रखना है, ताकि सीमा न घटे।
रन दोनों आँकड़ों पर असर डालता है। पहला, इस्तेमाल। खुला ऑर्डर सीमा में एक स्लॉट तब तक घेरे रहता है, जब तक उसे बंद न किया जाए या उसका समय खत्म न हो जाए। यह समय कैटलॉग में हर सेवा के लिए तय है और अभी एक घंटा है। इस पूरे समय ऑर्डर का पैसा रिज़र्व में पड़ा रहता है। दूसरा, साख। बिना कोड के बंद हुआ हर ऑर्डर कोड वाले ऑर्डरों का हिस्सा घटाता है। विंडो सात दिन की है, और रात के रनों का एक हफ़्ता इसे पूरा भर देता है।
नंबर तब ऑर्डर हो जाता है, जब ऐप कोड भेजने को तैयार ही नहीं
एक आम तरीका यह है। नंबर सेटअप फ़िक्स्चर में या beforeAll में ऑर्डर कर लिया जाता है, ताकि ज़रूरत पड़ने पर तैयार मिले। ऑर्डर की घड़ी getNumber से चल पड़ती है, पर टेस्ट अभी एनवायरनमेंट का इंतज़ार कर रहा है: कंटेनर शुरू हो रहे हैं, माइग्रेशन चल रहे हैं। अगर एनवायरनमेंट खड़ा नहीं होता या टेस्ट छोड़ दिया जाता है, तो SMS भेजा ही नहीं जाता, और ऑर्डर खाली ही खत्म हो जाता है।
getNumber ठीक उसी चरण पर कॉल करें, जिसके तुरंत बाद ऐप उस नंबर पर कोड भेजता है। एनवायरनमेंट तैयार है या नहीं, यह ऑर्डर से पहले जाँच लें। तैयारी के लिए getPrices और getBalance काफ़ी हैं। वे कुछ ऑर्डर नहीं करते और सीमा में कोई स्लॉट नहीं घेरते।
टेस्ट फ़ेल हुआ, पर ऑर्डर खुला रह गया
टेस्ट फ़्रेमवर्क का अपना टाइमआउट होता है, और ऑर्डर का अपना। टेस्ट ने कोड के लिए कुछ मिनट इंतज़ार किया, फ़ेल हुआ, और प्रोसेस खत्म हो गई। ऑर्डर इस बीच अपना समय खत्म होने तक चलता रहता है। वह स्लॉट घेरे रहता है, रिज़र्व रोके रखता है, और अगर कोड आता ही नहीं, तो खाली बंद हो जाता है।
हर ऑर्डर को teardown में साफ़ तौर पर बंद करें, टेस्ट का नतीजा चाहे जो हो। कोड मिल गया: setStatus 6, और ऑर्डर पूरा हो जाता है। कोड नहीं आया: setStatus 8, और ऑर्डर रद्द हो जाता है। रद्द करने से ऑर्डर सफल नहीं बन जाता, पर स्लॉट और रिज़र्व तुरंत खाली हो जाते हैं। ऑर्डर को उसके पहले मिनट में रद्द नहीं किया जा सकता। इसलिए अगर टेस्ट उससे पहले फ़ेल हो जाए, तो teardown को त्रुटि निगल जाने के बजाय रुककर रद्द करने की कोशिश दोहरानी चाहिए।
रीट्राई एक अलग फंदा है। रनर फ़ेल हुए टेस्ट को शुरू से दोबारा चलाता है, टेस्ट फिर getNumber कॉल करता है, और एक ही सिनेरियो पर दो-तीन ऑर्डर बन जाते हैं। ज़्यादा से ज़्यादा उनमें से एक को कोड मिलता है। नंबर इस्तेमाल करने वाले टेस्ट के लिए पूरे टेस्ट का रीट्राई बंद कर दें या रीट्राई में पहले से खुला ऑर्डर ही पास करें। उसी नंबर पर एक और कोड माँगने के लिए setStatus 3 इस्तेमाल करें।
ज़रूरत से ज़्यादा पैरेललिज़्म
रनर के कॉन्फ़िग में 32 वर्कर हैं, क्योंकि CI मशीन में इतने ही कोर हैं। अगर हर वर्कर अपना नंबर रखता है, तो एक ही रन 32 स्लॉट ले लेता है, और घटी हुई सीमा में यह लगभग पूरी सीमा है। उसी खाते से आपके सहकर्मी हाथ से जो ऑर्डर करते हैं, वे भी रन के साथ इसी इस्तेमाल में गिने जाते हैं।
दूसरा असर पोलिंग का है। बीस टेस्ट, जिनमें से हर एक सेकंड में एक बार getStatus कॉल करता है, मिलकर एक मिनट में 1200 अनुरोध बनाते हैं। API की सीमा प्रति कुंजी 600 अनुरोध प्रति मिनट है, यानी इसका आधा। सीमा से ऊपर के अनुरोध ठुकरा दिए जाते हैं, और जो टेस्ट इस इनकार को "कोड नहीं आया" समझ लेता है, वह ऑर्डर छोड़ देता है। पोलिंग हर कुछ सेकंड में एक बार करें और पूरे रन के लिए अनुरोधों का बजट बनाएँ।
जिन टेस्ट को नंबर चाहिए, उन्हें कम पैरेललिज़्म वाले अलग ग्रुप में रखें। CI के लिए पैनल में अलग नाम वाली कुंजी जारी करें और उसे तुरंत अपने सीक्रेट स्टोर में रख दें, क्योंकि कुंजी सिर्फ़ एक बार दिखाई जाती है। आखिरी इस्तेमाल की तारीख से पता चलता है कि शेड्यूल सच में चला या नहीं, और इस कुंजी को रद्द करने से आपके मुख्य इंटीग्रेशन पर असर नहीं पड़ेगा। हालाँकि कुंजी के साथ ऑर्डरों की अपनी अलग सीमा नहीं आती। इस्तेमाल पूरे खाते का एक ही गिना जाता है।
अगले रन से पहले
हाथ से किए गए ऑर्डरों पर भी यही नियम लागू होते हैं। नंबर तब लें, जब सेवा कोड भेजने को तैयार हो चुकी हो, और ऑर्डर के खत्म होने का इंतज़ार करने के बजाय उसे खुद बंद करें।
पाइपलाइन के लिए चेकलिस्ट:
- getNumber उस चरण पर है, जिसके बाद ऐप कोड भेजता है;
- teardown हर ऑर्डर को setStatus 6 या 8 से बंद करता है और अगर टेस्ट पहले मिनट में फ़ेल हुआ हो, तो रद्द करने की कोशिश दोहराता है;
- रीट्राई नया नंबर ऑर्डर नहीं करता, और दोबारा कोड setStatus 3 से माँगा जाता है;
- नंबर रखने वाले वर्कर उन टेस्ट से ज़्यादा नहीं हैं, जिन्हें नंबर चाहिए;
- getStatus की कुल पोलिंग प्रति कुंजी 600 अनुरोध प्रति मिनट के भीतर रहती है।
वर्कर बढ़ाने से पहले पैनल खोलें और मौजूदा सीमा, मौजूदा इस्तेमाल और 7 दिनों में कोड वाले ऑर्डरों का हिस्सा देख लें। अगर रात के रनों के बाद हिस्सा गिरा है, तो हमारी सलाह है कि शुरुआत getNumber के कॉल की जगह और teardown से करें, और पैरेललिज़्म उसके बाद ही बढ़ाएँ।