Co to jest spot GPU i czy warto?

Czy spot jest tańszy niż on-demand?

Tak, o około połowę. Według sprawdzenia cen GPUwithCrypto z 29 października 2026 mediana rabatu spot na H100 SXM u tych pięciu dostawców wynosiła 56%. Spot u Nebius i Jarvislabs oraz najtańsza oferta na marketplace Vast.ai były wszystkie poniżej naszej ceny H100 on-demand. Nasza zasada cenowa porównuje tylko z cenami on-demand: Każdy GPU jest wyceniony co najmniej 15% poniżej wskazanego punktu odniesienia: ceny on-demand tego samego GPU u self-serve providera, odczytanej 29 października 2026 (H100: Massed Compute po $2.73 za GPU-godzinę; punkt odniesienia dla każdego GPU jest podany na jego stronie z cenami). Ceny spot, interruptible, marketplace i contact-sales nie są używane jako punkty odniesienia, a niektóre z nich są niższe. Nie twierdzimy, że jesteśmy najtańsi dla każdego GPU. Każda cena H100 on-demand, którą odczytaliśmy, jest na H100 rental prices.

Jak ustalana jest cena spot?

Dzięki wolnym zasobom, więc działa. Nebius twierdzi, że najwyższa stawka za preemptible VM jest zawsze o jeden cent poniżej aktualnej stawki on-demand; ich tabela pokazuje tylko cenę "od". Google Cloud nazywa kolumnę spot "Current Spot pricing". Salad sprzedaje zamiast tego poziomy priorytetu: 29 października 2026 ich najniższy (batch) priorytet RTX 4090 kosztował $0.16 za godzinę wobec $0.33 za wysoki priorytet, który nigdy nie jest wywłaszczany.

Kiedy spot GPU się opłaca?

Kiedy utrata GPU kosztuje Cię minuty, a nie termin. Przy 56% zniżki płacisz 0.44 stawki on-demand, więc spot pozostaje tańszy, dopóki praca, którą powtarzasz po przerwaniach, nie przekroczy 127% pracy użytecznej (1 ÷ 0.44 = 2.27). Prawdziwym ryzykiem jest czas, nie pieniądze.

Dobre zastosowania: batch inference na zbiorze danych, przemiatanie hiperparametrów, trening z checkpointami co kilka minut, kolejki renderowania.

Złe zastosowania: inference API, które musi działać bez przerwy, interaktywne notatniki i sesje ComfyUI, długie zadania bez checkpointów oraz zadania wielo-GPU, gdzie utrata jednego GPU zatrzymuje wszystkie.

Jak sprawić, by zadanie treningowe przetrwało przerwanie spot?

Zapisuj checkpointy często, trzymaj je poza instancją i wznawiaj od ostatniego. W Trainerze Hugging Face ustaw interwał zapisu i limit liczby przechowywanych checkpointów, a potem wywołaj train(resume_from_checkpoint=True): wczytuje ostatni checkpoint z folderu wyjściowego wraz ze stanami optymalizatora i schedulera. Kopiuj folder wyjściowy do pamięci, która przeżyje instancję, i spraw, by każdy krok można było bezpiecznie uruchomić dwa razy.

from transformers import Trainer, TrainingArguments

args = TrainingArguments(
    output_dir="run",
    save_strategy="steps",
    save_steps=200,        # a checkpoint every 200 steps
    save_total_limit=3,    # keep the 3 most recent
)
trainer = Trainer(model=model, args=args, train_dataset=train_ds)

# after a restart: continue from the last checkpoint in ./run
trainer.train(resume_from_checkpoint=True)

Dlaczego instancje GPUwithCrypto są tylko on-demand?

Żeby długiego zadania ani działającego endpointu nigdy nie przerwał ktoś inny. Instancje są on-demand, nie spot: nikt nie może odebrać Ci GPU, dopóki starcza na nie saldo, a instancja działa, dopóki jej nie zatrzymasz. Gdy GPU-godziny danego GPU się skończą, jego instancje się zatrzymują, a ich dyski zostają; nowy blok godzin pozwala uruchomić je ponownie. Każdy GPU jest wyceniony co najmniej 15% poniżej nazwanego odniesienia on-demand odczytanego 29 października 2026. Dla H100 to odniesienie to Massed Compute przy $2.73, a nasza cena jest 44% poniżej mediany 16 dostawców. Wszystkie ceny: pricing.