GPU spot là gì, và có đáng không?

Spot có rẻ hơn on-demand không?

Có, khoảng một nửa. Theo kiểm tra giá của GPUwithCrypto ngày 29 tháng 10 năm 2026, mức giảm giá spot trung vị trên H100 SXM tại năm nhà cung cấp đó là 56%. Spot tại Nebius và Jarvislabs, cùng ưu đãi marketplace rẻ nhất của Vast.ai, đều thấp hơn giá H100 on-demand của chúng tôi. Quy tắc giá của chúng tôi chỉ so sánh với giá on-demand: Mỗi GPU được định giá ít nhất 15% thấp hơn một mốc tham chiếu được nêu tên: giá on-demand của cùng GPU đó tại một nhà cung cấp tự phục vụ, đọc ngày 29 tháng 10 năm 2026 (H100: Massed Compute ở mức $2.73 mỗi GPU-giờ; mốc tham chiếu của từng GPU được nêu trên trang giá của nó). Giá spot, interruptible, marketplace và giá liên hệ bán hàng không được dùng làm mốc tham chiếu, và một số giá đó còn thấp hơn. Chúng tôi không tuyên bố là rẻ nhất cho mọi GPU. Mọi giá H100 on-demand chúng tôi đọc được đều có trên giá thuê H100.

Giá spot được đặt như thế nào?

Nhờ công suất dư thừa, nên nó mới chuyển được. Nebius cho biết mức giá cao nhất của một VM preemptible luôn thấp hơn mức giá on-demand hiện tại đúng một xu; bảng của họ chỉ hiển thị giá "từ". Google Cloud gọi cột spot của mình là "Current Spot pricing". Salad bán theo các bậc ưu tiên thay vào đó: vào ngày 29 tháng 10 năm 2026, mức ưu tiên thấp nhất (batch) RTX 4090 của họ có giá $0.16 mỗi giờ so với $0.33 cho mức ưu tiên cao, vốn không bao giờ bị preempt.

Khi nào một GPU spot đáng dùng?

Khi việc mất GPU khiến bạn tốn vài phút, chứ không phải một hạn chót. Với mức giảm 56%, bạn trả 0.44 lần giá on-demand, nên spot vẫn rẻ hơn cho đến khi phần việc bạn phải làm lại sau gián đoạn vượt quá 127% lượng công việc hữu ích (1 ÷ 0.44 = 2.27). Rủi ro thực sự là thời gian, không phải tiền.

Phù hợp: batch inference trên một dataset, quét hyperparameter, training có checkpoint mỗi vài phút, hàng đợi render.

Không phù hợp: một inference API phải luôn hoạt động, notebook tương tác và các phiên ComfyUI, job dài không có checkpoint, và job nhiều GPU, nơi chỉ cần mất một GPU là tất cả đều dừng.

Làm sao để một job training sống sót qua gián đoạn spot?

Lưu checkpoint thường xuyên, giữ chúng bên ngoài instance, và tiếp tục từ checkpoint gần nhất. Với Trainer của Hugging Face, đặt khoảng thời gian lưu và giới hạn số checkpoint cần giữ, rồi gọi train(resume_from_checkpoint=True): nó tải checkpoint gần nhất trong thư mục output, kèm cả trạng thái optimizer và scheduler. Sao chép thư mục output sang bộ lưu trữ tồn tại lâu hơn instance, và làm cho mỗi bước có thể chạy lại hai lần một cách an toàn.

from transformers import Trainer, TrainingArguments

args = TrainingArguments(
    output_dir="run",
    save_strategy="steps",
    save_steps=200,        # a checkpoint every 200 steps
    save_total_limit=3,    # keep the 3 most recent
)
trainer = Trainer(model=model, args=args, train_dataset=train_ds)

# after a restart: continue from the last checkpoint in ./run
trainer.train(resume_from_checkpoint=True)

Tại sao các instance GPUwithCrypto chỉ có on-demand?

Để một job dài hay một endpoint đang chạy không bao giờ bị người khác cắt. Instance là on-demand, không phải spot: không ai có thể lấy lại GPU của bạn khi số dư của bạn còn đủ, và instance chạy cho đến khi bạn dừng nó. Khi số GPU-giờ của một GPU hết, các instance của nó dừng lại và ổ đĩa của chúng được giữ nguyên; một gói giờ mới cho phép bạn khởi chạy chúng lại. Mỗi GPU được định giá thấp hơn ít nhất 15% so với một mức tham chiếu on-demand được nêu tên, đọc vào ngày 29 tháng 10 năm 2026. Với H100, mức tham chiếu đó là Massed Compute tại $2.73, và giá của chúng tôi là 44% dưới trung vị của 16 nhà cung cấp. Tất cả giá: pricing.