Що таке spot GPU і чи варто воно того?

Чи дешевше spot, ніж on-demand?

Так, приблизно вдвічі. Згідно з перевіркою цін GPUwithCrypto від 29 жовтня 2026 року, медіанна spot-знижка на H100 SXM у цих п'яти провайдерів становила 56%. Spot у Nebius і Jarvislabs, а також найдешевша пропозиція на маркетплейсі Vast.ai — усі були нижчі за нашу on-demand ціну H100. Наше правило цін порівнює лише з on-demand цінами: Ціна кожного GPU щонайменше на 15% нижча за названий орієнтир: on-demand ціна того самого GPU у self-serve провайдера, зчитана 29 жовтня 2026 року (H100: Massed Compute за $2.73 за GPU-годину; орієнтир для кожного GPU вказано на його сторінці цін). Spot, переривні, маркетплейсні ціни та ціни за запитом не використовуються як орієнтири, і деякі з них нижчі. Ми не стверджуємо, що є найдешевшими для кожного GPU. Кожна on-demand ціна H100, яку ми читали, є на цінах оренди H100.

Як встановлюється spot-ціна?

За вільною потужністю, тому вона змінюється. Nebius каже, що найвища ставка preemptible VM завжди на один цент нижча за поточну on-demand ставку; їхня таблиця показує лише ціну "від". Google Cloud позначає свою spot-колонку як "Current Spot pricing". Salad натомість продає пріоритетні рівні: 29 жовтня 2026 року його найнижчий (batch) пріоритет RTX 4090 коштував $0.16 за годину проти $0.33 за високий пріоритет, який ніколи не переривається.

Коли spot GPU вартий того?

Коли втрата GPU коштує вам хвилин, а не дедлайну. При знижці 56% ви платите 0.44 від on-demand ставки, тож spot залишається дешевшим, доки робота, яку ви переробляєте після переривань, не перевищить 127% корисної роботи (1 ÷ 0.44 = 2.27). Реальний ризик — це час, а не гроші.

Добре підходить: batch inference по датасету, перебір гіперпараметрів, тренування з чекпоінтом кожні кілька хвилин, черги рендерингу.

Погано підходить: inference API, який має бути постійно доступним, інтерактивні ноутбуки та сесії ComfyUI, довгі задачі без чекпоінтів і задачі на кілька GPU, де втрата одного GPU зупиняє всі.

Як зробити так, щоб задача тренування пережила spot-переривання?

Зберігайте чекпоінти часто, тримайте їх поза інстансом і відновлюйте з останнього. З Hugging Face Trainer задайте інтервал збереження та ліміт на кількість чекпоінтів, які зберігати, потім викличте train(resume_from_checkpoint=True): він завантажує останній чекпоінт у вихідній папці разом зі станами optimizer і scheduler. Копіюйте вихідну папку в сховище, яке переживає інстанс, і робіть кожен крок безпечним для повторного запуску.

from transformers import Trainer, TrainingArguments

args = TrainingArguments(
    output_dir="run",
    save_strategy="steps",
    save_steps=200,        # a checkpoint every 200 steps
    save_total_limit=3,    # keep the 3 most recent
)
trainer = Trainer(model=model, args=args, train_dataset=train_ds)

# after a restart: continue from the last checkpoint in ./run
trainer.train(resume_from_checkpoint=True)

Чому інстанси GPUwithCrypto лише on-demand?

Щоб довгу задачу або живий endpoint ніколи не обірвав хтось інший. Інстанси є on-demand, а не spot: ніхто не може забрати ваш GPU, поки ваш баланс його покриває, і інстанс працює, доки ви його не зупините. Коли GPU-години для GPU вичерпуються, його інстанси зупиняються, а їхні диски зберігаються; новий блок годин дозволяє запустити їх знову. Кожен GPU оцінений щонайменше на 15% нижче за названий on-demand референс, прочитаний 29 жовтня 2026 року. Для H100 цей референс — Massed Compute у $2.73, а наша ціна на 44% нижча за медіану 16 провайдерів. Усі ціни: pricing.