Скільки VRAM потрібно, щоб запустити або донавчити LLM?

Як розрахувати VRAM, потрібну моделі?

Помножте кількість параметрів на кількість байтів, які займає кожен параметр, а потім додайте 20%. Приклад: Llama 3.1 70B у FP8: 70 мільярдів × 1 байт = 70 GB ваги, і 70 × 1.2 = 84 GB. Це більше за один H100 на 80 GB і менше за один H200 на 141 GB, тож найменший варіант — один H200. Який GPU обслуговує яку модель найшвидше за свої гроші: найкращий GPU для LLM inference.

Ці 20% покривають KV cache та активації за помірної довжини контексту й розміру батчу. Правило та кількість байтів на параметр походять з Transformer Math 101 від EleutherAI. Це правило для оцінки розміру, а не гарантія: довгі промпти, багато паралельних користувачів і накладні витрати фреймворку виходять за його межі. Загальний обсяг у межах 5% від VRAM карти, як-от Qwen2.5 32B у BF16 (78 GB) на карті 80 GB, працює лише з короткими промптами; для довгих беріть наступний розмір.

Скільки VRAM додає довгий контекст?

Довгий контекст додає KV cache: два вектори (key і value) на шар, на KV head, на токен. Для Llama 3.1 70B (80 шарів, 8 KV heads по 128 значень, згідно зі статтею Llama 3) у BF16: 2 × 80 × 8 × 128 × 2 байти = 327,680 байт на токен. Тож одна розмова на 128K токенів (131,072 токени) потребує 42.9 GB.

Додайте це до ваг FP8: 70 + 42.9 = 112.9 GB, усе ще один H200. Чотири такі розмови одночасно потребують 70 + 4 × 42.9 = 241.6 GB, тобто два H200. KV cache у FP8 удвічі зменшує ці цифри. Моделі DeepSeek стискають свій attention cache, тож ця формула до них не застосовується.

Скільки VRAM потрібно, щоб дообучити LLM?

Повне дообучення потребує від 16 до 18 байт на параметр до активацій. EleutherAI рахує 2 байти ваг, 12 на стан оптимізатора (разом з копією FP32) і 2 на градієнти; Hugging Face рахує 6 + 8 + 4 = 18. LoRA заморожує базову модель, тож їй потрібно близько 2 байт на параметр для базової моделі у BF16; стаття про LoRA повідомляє про скорочення пам'яті GPU у 3× проти повного дообучення. Наш запас планування × 1.2 на LoRA — це наша власна умовність. QLoRA завантажує базову модель у 4-bit: її автори дообучили модель 65B на одному GPU з 48 GB, 48 ÷ 65 = 0.74 GB на мільярд параметрів, округлено до 0.75. Кожен метод, застосований до моделі 70B: найкращий GPU для дообучення Llama 70B.

Чому кількість GPU стрибає з 2 до 4 і до 8?

Tensor parallelism рівномірно розподіляє attention heads кожного шару між GPU. vLLM відмовляється запускатися, коли кількість head не ділиться на кількість GPU. Llama 3.1 70B має 64 attention head, тож 2, 4 або 8 GPU працюють, а 3 — ні. Три H100 по 80 ГБ (240 ГБ) на папері вміщають модель на 168 ГБ, але це не робоча схема; чотири — так. Інстанси мають від 1 до 8 GPU залежно від хоста. Перед стартом дашборд показує країну кожного хоста, кількість GPU, форм-фактор (SXM або PCIe) та інтерконект.

Скільки коштує потрібний GPU за годину?

Точність змінює рахунок більше, ніж будь-який інший вибір. Llama 3.1 70B потребує одного B200 у BF16, але одного L40S у 4-bit. Згідно з перевіркою цін GPUwithCrypto від 29 жовтня 2026 року, найнижчі self-serve on-demand ціни для цих двох GPU були $5.43 і $0.97 за годину: 4-bit скорочує погодинну вартість на 82%. За нашими цінами ця пара коштує $4.61/година і $0.82/година. Перевірте 4-bit результат на власних промптах, перш ніж зобов'язуватися. Кожен GPU і блок годин є на сторінці цін.