Apa itu GPU spot, dan apakah layak?

Apakah spot lebih murah daripada on-demand?

Ya, sekitar setengahnya. Menurut pengecekan harga GPUwithCrypto pada 29 Oktober 2026, median diskon spot untuk H100 SXM di kelima provider tersebut adalah 56%. Spot di Nebius dan Jarvislabs, serta penawaran marketplace Vast.ai termurah, semuanya di bawah harga H100 on-demand kami. Aturan harga kami hanya membandingkan dengan harga on-demand: Setiap GPU diberi harga minimal 15% di bawah acuan yang disebutkan: harga on-demand GPU yang sama di penyedia self-serve, dibaca pada 29 Oktober 2026 (H100: Massed Compute seharga $2.73 per GPU-jam; acuan tiap GPU disebutkan di halaman harganya). Harga spot, interruptible, marketplace dan contact-sales tidak dipakai sebagai acuan, dan sebagian di antaranya lebih rendah. Kami tidak mengklaim sebagai yang termurah untuk setiap GPU. Setiap harga H100 on-demand yang kami baca ada di Harga sewa H100.

Bagaimana harga spot ditetapkan?

Dengan kapasitas cadangan, jadi harganya bergerak. Nebius menyebut tarif tertinggi untuk VM preemptible selalu satu sen di bawah tarif on-demand saat itu; tabelnya hanya menampilkan harga "mulai dari". Google Cloud memberi label pada kolom spot-nya "Current Spot pricing". Salad menjual tingkat prioritas: pada 29 Oktober 2026, prioritas terendahnya (batch) RTX 4090 berbiaya $0,16 per jam versus $0,33 untuk prioritas tinggi, yang tidak pernah di-preempt.

Kapan GPU spot layak dipakai?

Saat kehilangan GPU membuat Anda rugi beberapa menit, bukan tenggat. Dengan diskon 56% Anda membayar 0,44 dari tarif on-demand, jadi spot tetap lebih murah sampai pekerjaan yang Anda ulang setelah interupsi melebihi 127% dari pekerjaan yang berguna (1 ÷ 0,44 = 2,27). Risiko sesungguhnya adalah waktu, bukan uang.

Cocok untuk: batch inference atas sebuah dataset, hyperparameter sweep, training yang menyimpan checkpoint setiap beberapa menit, antrean rendering.

Tidak cocok untuk: inference API yang harus terus aktif, notebook interaktif dan sesi ComfyUI, pekerjaan panjang tanpa checkpoint, dan pekerjaan multi-GPU, yang jika satu GPU hilang menghentikan semuanya.

Bagaimana cara membuat training job bertahan dari interupsi spot?

Simpan checkpoint sesering mungkin, taruh di luar instance, dan lanjutkan dari checkpoint terakhir. Dengan Trainer dari Hugging Face, atur interval penyimpanan dan batas jumlah checkpoint yang disimpan, lalu panggil train(resume_from_checkpoint=True): ia memuat checkpoint terakhir di folder output, beserta state optimizer dan scheduler. Salin folder output ke penyimpanan yang bertahan lebih lama daripada instance, dan pastikan setiap langkah aman dijalankan dua kali.

from transformers import Trainer, TrainingArguments

args = TrainingArguments(
    output_dir="run",
    save_strategy="steps",
    save_steps=200,        # a checkpoint every 200 steps
    save_total_limit=3,    # keep the 3 most recent
)
trainer = Trainer(model=model, args=args, train_dataset=train_ds)

# after a restart: continue from the last checkpoint in ./run
trainer.train(resume_from_checkpoint=True)

Mengapa instance GPUwithCrypto hanya on-demand?

Agar pekerjaan panjang atau endpoint yang aktif tidak pernah diputus oleh pihak lain. Instance bersifat on-demand, bukan spot: tidak ada yang bisa mengambil kembali GPU Anda selama saldo Anda mencukupinya, dan instance berjalan sampai Anda menghentikannya. Saat GPU-jam suatu GPU habis, instance-nya berhenti dan disk-nya disimpan; blok jam baru memungkinkan Anda menjalankannya lagi. Setiap GPU diberi harga minimal 15% di bawah referensi on-demand ternama yang dibaca pada 29 Oktober 2026. Untuk H100, referensinya adalah Massed Compute di $2.73, dan harga kami 44% di bawah median dari 16 penyedia. Semua harga: pricing.