Cos'è una GPU spot e vale la pena?

Lo spot costa meno dell'on-demand?

Sì, circa la metà. Secondo il controllo prezzi di GPUwithCrypto del 29 ottobre 2026, lo sconto mediano spot su un H100 SXM presso quei cinque provider era del 56%. Lo spot su Nebius e Jarvislabs, e l'offerta più economica del marketplace di Vast.ai, erano tutte sotto il nostro prezzo H100 on-demand. La nostra regola sui prezzi confronta solo con i prezzi on-demand: Ogni GPU ha un prezzo inferiore di almeno il 15% rispetto a un riferimento dichiarato: il prezzo on-demand della stessa GPU presso un provider self-serve, letto il 29 ottobre 2026 (H100: Massed Compute a $2.73 per GPU-ora; il riferimento di ogni GPU è indicato nella sua pagina prezzi). I prezzi spot, interrompibili, di marketplace e su preventivo non sono usati come riferimenti, e alcuni sono più bassi. Non sosteniamo di essere i più economici per ogni GPU. Ogni prezzo H100 on-demand che leggiamo è su prezzi di noleggio H100.

Come viene fissato il prezzo spot?

In base alla capacità inutilizzata, quindi si muove. Nebius dice che la tariffa massima di una VM preemptible è sempre un centesimo sotto la tariffa on-demand corrente; la sua tabella mostra solo il prezzo "a partire da". Google Cloud chiama la sua colonna spot "Current Spot pricing". Salad vende invece livelli di priorità: il 29 ottobre 2026 la sua RTX 4090 a priorità più bassa (batch) costava $0.16 all'ora contro $0.33 per la priorità alta, che non viene mai preempted.

Quando conviene una GPU spot?

Quando perdere la GPU ti costa minuti, non una scadenza. Con uno sconto del 56% paghi 0.44 della tariffa on-demand, quindi lo spot resta più economico finché il lavoro che rifai dopo le interruzioni non supera il 127% del lavoro utile (1 ÷ 0.44 = 2.27). Il vero rischio è il tempo, non il denaro.

Adatto a: inferenza batch su un dataset, sweep di iperparametri, training che salva checkpoint ogni pochi minuti, code di rendering.

Poco adatto a: un'API di inferenza che deve restare attiva, notebook interattivi e sessioni ComfyUI, job lunghi senza checkpoint e job multi-GPU, dove perdere una GPU blocca tutte le altre.

Come faccio a far sopravvivere un job di training a un'interruzione spot?

Salva i checkpoint spesso, tienili fuori dall'istanza e riprendi dall'ultimo. Con il Trainer di Hugging Face, imposta un intervallo di salvataggio e un limite al numero di checkpoint da tenere, poi chiama train(resume_from_checkpoint=True): carica l'ultimo checkpoint nella cartella di output, con gli stati di optimizer e scheduler. Copia la cartella di output su uno storage che sopravvive all'istanza, e rendi ogni step sicuro da eseguire due volte.

from transformers import Trainer, TrainingArguments

args = TrainingArguments(
    output_dir="run",
    save_strategy="steps",
    save_steps=200,        # a checkpoint every 200 steps
    save_total_limit=3,    # keep the 3 most recent
)
trainer = Trainer(model=model, args=args, train_dataset=train_ds)

# after a restart: continue from the last checkpoint in ./run
trainer.train(resume_from_checkpoint=True)

Perché le istanze GPUwithCrypto sono solo on-demand?

Così un job lungo o un endpoint attivo non viene mai interrotto da qualcun altro. Le istanze sono on-demand, non spot: nessuno può riprendersi la tua GPU finché il tuo saldo la copre, e l'istanza resta attiva finché non la fermi. Quando le GPU-ora di una GPU si esauriscono, le sue istanze si fermano e i loro dischi vengono conservati; un nuovo blocco di ore ti permette di avviarle di nuovo. Ogni GPU ha un prezzo di almeno il 15% sotto un riferimento on-demand indicato, letto il 29 ottobre 2026. Per l'H100, quel riferimento è Massed Compute a $2.73, e il nostro prezzo è 44% sotto la mediana di 16 provider. Tutti i prezzi: pricing.