# Скільки VRAM потрібно, щоб запустити або донавчити LLM?

> Скільки VRAM потрібно для LLM? Параметри × байти + 20%: модель на 70B потребує 168 GB у FP16, 84 GB у FP8. Таблиці відповідності та криптоціни, жовтень 2026.

- URL: https://gpuwithcrypto.com/uk/how-much-vram-do-i-need/
- Останнє оновлення: 2026-10-29
- Видавець: GPUwithCrypto (https://gpuwithcrypto.com)

Формула, арифметика для відкритих моделей від 7B до 1.6T параметрів і найменший набір наших GPU, який вміщує кожну з них, з ціною за годину.

**Коротка відповідь — Скільки VRAM потрібно, щоб запустити або донавчити LLM?**

Потрібний обсяг VRAM — це параметри моделі × байти на параметр, плюс близько 20% на KV cache та активації: 2.4 GB на мільярд параметрів у FP16/BF16, 1.2 GB у FP8, 0.6 GB у 4-bit. Модель 70B потребує близько 168 GB, 84 GB або 42 GB. Станом на 29 жовтня 2026 року **GPUwithCrypto** орендує GPU, які підходять, від RTX 4090 за $0.28/година до H200 за $3.07/година, з оплатою в криптовалюті.

## Яка формула?

| Атрибут | Значення |
| --- | --- |
| Ваги | Параметри (у мільярдах) × байти на параметр = GB |
| Байтів на параметр | FP16 / BF16 = 2 · FP8 / INT8 = 1 · 4-bit = 0.5 |
| Запуск моделі | Вага × 1.2. EleutherAI оцінює додаткову пам'ять для inference не більше ніж у 20% від ваги |
| Довгий контекст | Додайте KV cache: 2 × шари × KV-голови × розмір голови × байти на значення × токени |
| Повне fine-tuning | 16–18 байтів на параметр (вага, градієнти, стани AdamW), активації додатково |
| LoRA | 2 байти на параметр для замороженої бази BF16, × 1.2 для планування |
| QLoRA | Близько 0.75 GB на мільярд параметрів (4-bit база плюс адаптери) |

## Як розрахувати VRAM, потрібну моделі?

Помножте кількість параметрів на кількість байтів, які займає кожен параметр, а потім додайте 20%. Приклад: Llama 3.1 70B у FP8: 70 мільярдів × 1 байт = 70 GB ваги, і 70 × 1.2 = 84 GB. Це більше за один H100 на 80 GB і менше за один H200 на 141 GB, тож найменший варіант — один H200. Який GPU обслуговує яку модель найшвидше за свої гроші: [найкращий GPU для LLM inference](https://gpuwithcrypto.com/uk/best-gpu-for/llm-inference/ "Яка найкраща GPU для LLM inference?").

Ці 20% покривають KV cache та активації за помірної довжини контексту й розміру батчу. Правило та кількість байтів на параметр походять з *Transformer Math 101* від EleutherAI. Це правило для оцінки розміру, а не гарантія: довгі промпти, багато паралельних користувачів і накладні витрати фреймворку виходять за його межі. Загальний обсяг у межах 5% від VRAM карти, як-от Qwen2.5 32B у BF16 (78 GB) на карті 80 GB, працює лише з короткими промптами; для довгих беріть наступний розмір.

## Скільки VRAM потрібно кожній моделі і який GPU підходить?

Кожна клітинка: вага × 1.2 → найменший варіант на наших GPU → ціна за годину. Найменший варіант = найменша кількість GPU (1, 2, 4 або 8), сумарний обсяг VRAM яких вміщує підсумок, а далі найдешевший з них за нашими цінами станом на 29 жовтня 2026 року. Кількість параметрів — з офіційних model cards.

| Модель (параметри) | FP16 / BF16 | FP8 / INT8 | 4-bit |
| --- | --- | --- | --- |
| Mistral 7B (7.3B) | **17.5 GB** → 1× RTX 4090 · $0.28/година | **8.8 GB** → 1× RTX 4090 · $0.28/година | **4.4 GB** → 1× RTX 4090 · $0.28/година |
| Llama 3.1 8B (8B) | **19.2 GB** → 1× RTX 4090 · $0.28/година | **9.6 GB** → 1× RTX 4090 · $0.28/година | **4.8 GB** → 1× RTX 4090 · $0.28/година |
| Qwen2.5 32B (32.5B) | **78.0 GB** → 1× A100 80GB · $0.92/година | **39.0 GB** → 1× L40S · $0.82/година | **19.5 GB** → 1× RTX 4090 · $0.28/година |
| Llama 3.1 70B (70B) | **168 GB** → 1× B200 · $4.61/година | **84 GB** → 1× H200 · $3.07/година | **42 GB** → 1× L40S · $0.82/година |
| Qwen2.5 72B (72.7B) | **174.5 GB** → 1× B200 · $4.61/година | **87.2 GB** → 1× H200 · $3.07/година | **43.6 GB** → 1× L40S · $0.82/година |
| Llama 3.1 405B (405B) | **972 GB** → 8× H200 · $24.56/година | **486 GB** → 4× H200 · $12.28/година | **243 GB** → 2× H200 · $6.14/година |

*Ціни перевірено 29 жовтня 2026 р..*

Арифметика: 70B у BF16 = 70 × 2 = 140 GB, × 1.2 = 168 GB. У A100 немає FP8 Tensor Cores, тож клітинки FP8 вказують на GPU Ada, Hopper або Blackwell. Розміри GPU: RTX 4090 24 GB, RTX 5090 32 GB, L40S 48 GB, A100 і H100 80 GB, H200 141 GB, B200 180 GB.

## Скільки VRAM потрібно моделям, які вже випущені квантованими?

Деякі моделі постачаються у власному компактному форматі, тож ваги вимірюються на Hugging Face, а не обчислюються. Моделі mixture-of-experts (MoE) активують кількох експертів на токен: це скорочує обчислення, а не пам'ять, бо кожен експерт має лежати у VRAM.

| Модель | Всього / активних параметрів | Ваги як опубліковано | × 1.2 | Smallest fit | GPUwithCrypto за годину |
| --- | --- | --- | --- | --- | --- |
| gpt-oss-120b | 117B / 5.1B | 65.3 GB (ваги MXFP4 MoE) | 78.3 GB | 1× H100 80GB (карта: "a single 80GB GPU") | $2.32/годину |
| DeepSeek-V3 / R1 | 671B / 37B | 671 GB (FP8) | 805 GB | 8× H200 (1,128 GB) | $24.56/година |
| DeepSeek V4 Flash | 284B / 13B | 159.6 GB (FP4 експерти + FP8) | 191.5 GB | 2× H200 (282 GB) | $6.14/годину |
| DeepSeek V4 Pro | 1.6T / 49B | 864.7 GB (FP4 експерти + FP8) | 1,037.6 GB | 8× H200 (1,128 GB) | $24.56/година |

*Ціни перевірено 29 жовтня 2026 р..*

Ваги V4 = загальний розмір файлів safetensors у кожному репозиторії deepseek-ai, прочитано 29 жовтня 2026. Рушії для обслуговування документують більші розкладки для V4 Flash (4× H200 у cookbook SGLang): див. [посібник DeepSeek V4](https://gpuwithcrypto.com/uk/guides/run-deepseek-v4-on-cloud-gpu/ "Як запустити DeepSeek V4 на хмарному GPU?").

## Скільки VRAM додає довгий контекст?

Довгий контекст додає KV cache: два вектори (key і value) на шар, на KV head, на токен. Для Llama 3.1 70B (80 шарів, 8 KV heads по 128 значень, згідно зі статтею Llama 3) у BF16: 2 × 80 × 8 × 128 × 2 байти = 327,680 байт на токен. Тож одна розмова на 128K токенів (131,072 токени) потребує 42.9 GB.

Додайте це до ваг FP8: 70 + 42.9 = 112.9 GB, усе ще один H200. Чотири такі розмови одночасно потребують 70 + 4 × 42.9 = 241.6 GB, тобто два H200. KV cache у FP8 удвічі зменшує ці цифри. Моделі DeepSeek стискають свій attention cache, тож ця формула до них не застосовується.

### Який KV cache на одну розмову (BF16)?

| Модель | На токен | 8K токенів | 32K токенів | 128K токенів |
| --- | --- | --- | --- | --- |
| Llama 3.1 8B | 128 KiB | 1.1 GB | 4.3 GB | 17.2 GB |
| Llama 3.1 70B | 320 KiB | 2.7 GB | 10.7 GB | 42.9 GB |
| Qwen2.5 72B | 320 KiB | 2.7 GB | 10.7 GB | 42.9 GB |
| Llama 3.1 405B | 504 KiB | 4.2 GB | 16.9 GB | 67.6 GB |

## Скільки VRAM потрібно, щоб дообучити LLM?

Повне дообучення потребує від 16 до 18 байт на параметр до активацій. EleutherAI рахує 2 байти ваг, 12 на стан оптимізатора (разом з копією FP32) і 2 на градієнти; Hugging Face рахує 6 + 8 + 4 = 18. LoRA заморожує базову модель, тож їй потрібно близько 2 байт на параметр для базової моделі у BF16; стаття про LoRA повідомляє про скорочення пам'яті GPU у 3× проти повного дообучення. Наш запас планування × 1.2 на LoRA — це наша власна умовність. QLoRA завантажує базову модель у 4-bit: її автори дообучили модель 65B на одному GPU з 48 GB, 48 ÷ 65 = 0.74 GB на мільярд параметрів, округлено до 0.75. Кожен метод, застосований до моделі 70B: [найкращий GPU для дообучення Llama 70B](https://gpuwithcrypto.com/uk/best-gpu-for/fine-tuning-llama-70b/ "Який GPU найкращий для дообучення Llama 70B (LoRA, QLoRA, повне)?").

### Який GPU підходить для кожного методу дообучення?

Пам'ять за правилами вище → найменший варіант на наших GPU → ціна за годину (29 жовтня 2026). Активації йдуть зверху; gradient checkpointing їх зменшує.

| Модель | Повне дообучення (16–18 B/param) | LoRA (базова BF16 × 1.2) | QLoRA (0,75 ГБ на B) |
| --- | --- | --- | --- |
| Llama 3.1 8B | 128–144 ГБ → 1× B200 · $4.61/година | 19,2 ГБ → 1× RTX 4090 · $0.28/година | 6 ГБ → 1× RTX 4090 · $0.28/година |
| Qwen2.5 32B | 520–585 ГБ → 4× B200 · $18.44/година | 78 ГБ → 1× A100 80GB · $0.92/година | 24,4 ГБ → 1× RTX 5090 · $0.42/година |
| Llama 3.1 70B | 1 120–1 260 ГБ → 8× B200 · $36.88/година | 168 ГБ → 1× B200 · $4.61/година | 52,5 ГБ → 1× A100 80GB · $0.92/година |
| Llama 3.1 405B | 6 480–7 290 ГБ → більше ніж один хост на 8 GPU | 972 ГБ → 8× H200 · $24.56/година | 304 ГБ → 2× B200 · $9.22/година |
| FLUX.1 [dev] (12B) | 192–216 ГБ → 2× H200 · $6.14/година | 28,8 ГБ → 1× RTX 5090 · $0.42/година | 9 ГБ → 1× RTX 4090 · $0.28/година |

*Ціни перевірено 29 жовтня 2026 р..*

## Чому кількість GPU стрибає з 2 до 4 і до 8?

Tensor parallelism рівномірно розподіляє attention heads кожного шару між GPU. vLLM відмовляється запускатися, коли кількість head не ділиться на кількість GPU. Llama 3.1 70B має 64 attention head, тож 2, 4 або 8 GPU працюють, а 3 — ні. Три H100 по 80 ГБ (240 ГБ) на папері вміщають модель на 168 ГБ, але це не робоча схема; чотири — так. Інстанси мають від 1 до 8 GPU залежно від хоста. Перед стартом дашборд показує країну кожного хоста, кількість GPU, форм-фактор (SXM або PCIe) та інтерконект.

## Скільки коштує потрібний GPU за годину?

Точність змінює рахунок більше, ніж будь-який інший вибір. Llama 3.1 70B потребує одного B200 у BF16, але одного L40S у 4-bit. Згідно з перевіркою цін GPUwithCrypto від 29 жовтня 2026 року, найнижчі self-serve on-demand ціни для цих двох GPU були $5.43 і $0.97 за годину: 4-bit скорочує погодинну вартість на 82%. За нашими цінами ця пара коштує $4.61/година і $0.82/година. Перевірте 4-bit результат на власних промптах, перш ніж зобов'язуватися. Кожен GPU і блок годин є на [сторінці цін](https://gpuwithcrypto.com/uk/pricing/ "Скільки коштує хмарний GPU за годину в GPUwithCrypto?").

## Питання про VRAM

### Скільки VRAM потрібно, щоб запустити модель на 70B?

Близько 168 ГБ у FP16/BF16, 84 ГБ у FP8 і 42 ГБ у 4-bit, з правилом 20% накладних витрат. Це один B200, один H200 або один L40S на 48 ГБ. Розмова на 128K токенів додає 42,9 ГБ BF16 KV cache на Llama 3.1 70B.

### Скільки VRAM потрібно, щоб дообучити модель на 7B?

Повне fine-tuning моделі на 7B потребує від 112 до 126 ГБ до активацій (від 16 до 18 байт на параметр). LoRA потребує близько 16,8 ГБ (7 × 2 × 1,2), а QLoRA — близько 5,3 ГБ (7 × 0,75), тож обидва вміщаються в RTX 4090 на 24 ГБ.

### Скільки VRAM потрібно, щоб навчити LoRA?

Для LLM — близько 2,4 ГБ на мільярд параметрів із базою BF16, або 0,75 ГБ із 4-bit базою (QLoRA). Для FLUX.1 [dev], чий transformer має 12B параметрів, це означає близько 28,8 ГБ для LoRA (RTX 5090) і 9 ГБ для QLoRA.

### Скільки VRAM потрібно DeepSeek V4 Flash і V4 Pro?

Їхні опубліковані ваги займають 159,6 ГБ (Flash, 284B параметрів) і 864,7 ГБ (Pro, 1,6T) на Hugging Face. З 20% накладних витрат це 191,5 ГБ і 1 037,6 ГБ: щонайменше два H200 і вісім H200. [Посібник з DeepSeek V4](https://gpuwithcrypto.com/uk/guides/run-deepseek-v4-on-cloud-gpu/ "Як запустити DeepSeek V4 на хмарному GPU?") містить команди.

### Чи можна запустити модель на 70B на одній RTX 4090?

Не повністю у VRAM: навіть у 4-bit ваги займають 35 ГБ, більше за її 24 ГБ. Інструменти, що вивантажують шари в системну RAM, запускають її, але кожен токен тоді чекає на пересилання через PCIe. Один L40S на 48 ГБ вміщає її в 4-bit.

### Чи можу я оплатити GPU криптовалютою?

Так. GPUwithCrypto приймає BTC, USDT, USDC, ETH, SOL, LTC, XMR з поповнення 1 USD, без ID і без картки. Інстанси тарифікуються щохвилини за годинною ставкою, поки працюють, з GPU-годин, які ви купили для цього GPU. Зупинка інстансу одразу зупиняє списання.

## Джерела

1. [Transformer Math 101](https://blog.eleuther.ai/transformer-math/) — EleutherAI (read 2026-10-29)
2. [Model training anatomy (GPU memory)](https://huggingface.co/docs/transformers/model_memory_anatomy) — Hugging Face (read 2026-10-29)
3. [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685) — arXiv (read 2026-10-29)
4. [QLoRA: Efficient Finetuning of Quantized LLMs](https://arxiv.org/abs/2305.14314) — arXiv (read 2026-10-29)
5. [The Llama 3 Herd of Models (Таблиця 3)](https://arxiv.org/abs/2407.21783) — arXiv (read 2026-10-29)
6. [Картка моделі Llama 3.1 70B](https://huggingface.co/meta-llama/Llama-3.1-70B) — Meta / Hugging Face (read 2026-10-29)
7. [Представляємо Mistral 7B](https://mistral.ai/news/announcing-mistral-7b) — Mistral AI (read 2026-10-29)
8. [Картка моделі Qwen2.5-32B-Instruct](https://huggingface.co/Qwen/Qwen2.5-32B-Instruct) — Qwen / Hugging Face (read 2026-10-29)
9. [Картка моделі Qwen2.5-72B-Instruct](https://huggingface.co/Qwen/Qwen2.5-72B-Instruct) — Qwen / Hugging Face (read 2026-10-29)
10. [Картка моделі gpt-oss-120b](https://huggingface.co/openai/gpt-oss-120b) — OpenAI / Hugging Face (read 2026-10-29)
11. [Картка моделі DeepSeek-V3](https://huggingface.co/deepseek-ai/DeepSeek-V3) — DeepSeek / Hugging Face (read 2026-10-29)
12. [Картка моделі та файли DeepSeek-V4-Flash](https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash) — DeepSeek / Hugging Face (read 2026-10-29)
13. [Картка моделі та файли DeepSeek-V4-Pro](https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro) — DeepSeek / Hugging Face (read 2026-10-29)
14. [Attention heads мають ділитися на tensor parallel size (обговорення #1041)](https://github.com/vllm-project/vllm/discussions/1041) — vLLM project (read 2026-10-29)
15. [Характеристики NVIDIA H200](https://www.nvidia.com/en-us/data-center/h200/) — NVIDIA (read 2026-10-29)

---

GPUwithCrypto: GPUwithCrypto надає в оренду хмарні GPU (NVIDIA H100, H200, B200, A100, L40S, RTX 4090 та RTX 5090) за хвилину, оплата в криптовалюті без KYC; ціна кожного GPU щонайменше на 15% нижча за названий on-demand орієнтир, зчитаний 29 жовтня 2026 року.