spot GPU क्या है, और क्या यह फ़ायदेमंद है?

क्या spot on-demand से सस्ता है?

हाँ, लगभग आधा। GPUwithCrypto के 29 अक्टूबर 2026 के price check के अनुसार, उन पाँच providers में H100 SXM पर spot का median डिस्काउंट 56% था। Nebius और Jarvislabs पर spot, और Vast.ai मार्केटप्लेस का सबसे सस्ता ऑफ़र, सभी हमारी on-demand H100 कीमत से नीचे थे। हमारा price rule केवल on-demand कीमतों से तुलना करता है: हर GPU की कीमत एक बताए गए संदर्भ से कम से कम 15% कम है: किसी self-serve प्रोवाइडर पर उसी GPU की on-demand कीमत, 29 अक्टूबर 2026 को पढ़ी गई (H100: Massed Compute पर $2.73 प्रति GPU-घंटा; हर GPU का संदर्भ उसके price page पर बताया गया है)। Spot, interruptible, marketplace और contact-sales कीमतों को संदर्भ के रूप में नहीं लिया जाता, और उनमें से कुछ कम हैं। हम यह दावा नहीं करते कि हर GPU के लिए हम सबसे सस्ते हैं। हमारी पढ़ी हर on-demand H100 कीमत H100 rental prices पर है।

spot की कीमत कैसे तय होती है?

खाली क्षमता से, इसलिए यह बदलती रहती है। Nebius कहता है कि preemptible VM की सबसे ऊँची दर हमेशा मौजूदा on-demand दर से एक सेंट कम होती है; उसकी टेबल में केवल "from" कीमत दिखती है। Google Cloud अपने spot कॉलम को "Current Spot pricing" कहता है। Salad इसके बजाय priority tiers बेचता है: 29 अक्टूबर 2026 को उसकी सबसे निचली (batch) priority वाली RTX 4090 $0.16 प्रति घंटा में मिली, जबकि high priority के लिए $0.33, जिसे कभी preempt नहीं किया जाता।

spot GPU कब फ़ायदेमंद है?

जब GPU खोने पर आपको मिनटों का नुकसान हो, deadline का नहीं। 56% डिस्काउंट पर आप on-demand दर का 0.44 देते हैं, इसलिए spot तब तक सस्ता रहता है जब तक interruptions के बाद दोबारा किया गया काम उपयोगी काम के 127% से ज़्यादा न हो जाए (1 ÷ 0.44 = 2.27)। असली जोखिम पैसा नहीं, समय है।

अच्छे मामले: किसी dataset पर batch inference, hyperparameter sweeps, हर कुछ मिनट में checkpoint करने वाली training, rendering queues।

खराब मामले: ऐसा inference API जो चलता रहना चाहिए, interactive notebooks और ComfyUI sessions, बिना checkpoint वाले लंबे jobs, और multi-GPU jobs, जहाँ एक GPU खोने पर सभी रुक जाते हैं।

spot interruption से training job को कैसे बचाएँ?

checkpoints अक्सर सेव करें, उन्हें instance से बाहर रखें, और आख़िरी checkpoint से resume करें। Hugging Face के Trainer के साथ, save interval और कितने checkpoints रखने की cap सेट करें, फिर train(resume_from_checkpoint=True) कॉल करें: यह output folder में आख़िरी checkpoint को optimizer और scheduler states के साथ लोड करता है। output folder को ऐसी storage पर कॉपी करें जो instance से ज़्यादा टिके, और हर step को दो बार चलाने पर भी सुरक्षित बनाएँ।

from transformers import Trainer, TrainingArguments

args = TrainingArguments(
    output_dir="run",
    save_strategy="steps",
    save_steps=200,        # a checkpoint every 200 steps
    save_total_limit=3,    # keep the 3 most recent
)
trainer = Trainer(model=model, args=args, train_dataset=train_ds)

# after a restart: continue from the last checkpoint in ./run
trainer.train(resume_from_checkpoint=True)

GPUwithCrypto के instances केवल on-demand क्यों हैं?

ताकि कोई लंबा job या live endpoint किसी और के कारण कभी न कटे। इंस्टेंस on-demand हैं, spot नहीं: जब तक आपका balance उसे कवर करता है, कोई आपका GPU वापस नहीं ले सकता, और इंस्टेंस तब तक चलता है जब तक आप उसे रोकते नहीं। जब किसी GPU के GPU-घंटे खत्म हो जाते हैं, उसके इंस्टेंस रुक जाते हैं और उनकी डिस्क रखी जाती हैं; घंटों का नया ब्लॉक आपको उन्हें फिर से शुरू करने देता है। हर GPU की कीमत 29 अक्टूबर 2026 को पढ़े गए किसी नामित on-demand reference से कम से कम 15% कम तय होती है। H100 के लिए वह reference $2.73 पर Massed Compute है, और हमारी कीमत 16 प्रोवाइडर के median से 44% नीचे है। सभी कीमतें: pricing।