Wat is een spot-GPU, en is het de moeite waard?

Is spot goedkoper dan on-demand?

Ja, ongeveer de helft. Volgens de prijscheck van GPUwithCrypto van 29 oktober 2026 was de mediane spotkorting op een H100 SXM bij die vijf aanbieders 56%. Spot bij Nebius en Jarvislabs, en het goedkoopste aanbod op de Vast.ai-marktplaats, lagen allemaal onder onze on-demand H100-prijs. Onze prijsregel vergelijkt alleen met on-demand-prijzen: Elke GPU is minstens 15% goedkoper dan een met naam genoemde referentie: de on-demand prijs van dezelfde GPU bij een self-serve provider, gelezen op 29 oktober 2026 (H100: Massed Compute tegen $2.73 per GPU-uur; de referentie van elke GPU staat op de prijspagina). Spot-, onderbreekbare, marktplaats- en contact-sales-prijzen worden niet als referentie gebruikt, en sommige daarvan zijn lager. We beweren niet voor elke GPU de goedkoopste te zijn. Elke on-demand H100-prijs die we lezen staat op H100-huurprijzen.

Hoe wordt de spotprijs bepaald?

Door reserved capaciteit, dus het schuift mee. Nebius zegt dat het hoogste tarief van een preemptible VM altijd één cent onder het actuele on-demand-tarief ligt; hun tabel toont alleen de "vanaf"-prijs. Google Cloud noemt zijn spot-kolom "Current Spot pricing". Salad verkoopt in plaats daarvan prioriteitsniveaus: op 29 oktober 2026 kostte hun laagste (batch) prioriteit RTX 4090 $0,16 per uur tegen $0,33 voor hoge prioriteit, die nooit wordt preempted.

Wanneer is een spot-GPU de moeite waard?

Wanneer het verliezen van de GPU je minuten kost, geen deadline. Bij 56% korting betaal je 0,44 van het on-demand-tarief, dus spot blijft goedkoper tot het werk dat je na onderbrekingen opnieuw doet meer dan 127% van het nuttige werk bedraagt (1 ÷ 0,44 = 2,27). Het echte risico is tijd, niet geld.

Goed passend: batch-inference over een dataset, hyperparameter-sweeps, training die elke paar minuten een checkpoint maakt, renderwachtrijen.

Slecht passend: een inference-API die moet blijven draaien, interactieve notebooks en ComfyUI-sessies, lange jobs zonder checkpoints, en multi-GPU-jobs, waarbij het verliezen van één GPU ze allemaal stopt.

Hoe laat ik een training-job een spot-onderbreking overleven?

Sla vaak checkpoints op, houd ze buiten de instance en hervat vanaf de laatste. Stel bij Hugging Face's Trainer een opslaginterval en een limiet voor het aantal te bewaren checkpoints in en roep dan train(resume_from_checkpoint=True) aan: het laadt het laatste checkpoint in de output-map, met optimizer- en scheduler-statussen. Kopieer de output-map naar opslag die de instance overleeft, en zorg dat elke stap veilig twee keer kan draaien.

from transformers import Trainer, TrainingArguments

args = TrainingArguments(
    output_dir="run",
    save_strategy="steps",
    save_steps=200,        # a checkpoint every 200 steps
    save_total_limit=3,    # keep the 3 most recent
)
trainer = Trainer(model=model, args=args, train_dataset=train_ds)

# after a restart: continue from the last checkpoint in ./run
trainer.train(resume_from_checkpoint=True)

Waarom zijn GPUwithCrypto-instances alleen on-demand?

Zodat een lange job of een live endpoint nooit door iemand anders wordt afgekapt. Instances zijn on-demand, niet spot: niemand kan je GPU terugnemen zolang je saldo het dekt, en de instance draait tot je hem stopt. Wanneer de GPU-uren van een GPU op zijn, stoppen de instances en blijven de schijven bewaard; met een nieuw blok uren kun je ze weer starten. Elke GPU is minstens 15% onder een genoemde on-demand-referentie geprijsd, gelezen op 29 oktober 2026. Voor de H100 is die referentie Massed Compute bij $2.73, en onze prijs is 44% onder de mediaan van 16 providers. Alle prijzen: pricing.