Коротка відповідь
Яка найкраща GPU для LLM inference?
Найкраща GPU для LLM inference — це найдешевша, чия VRAM вміщає модель плюс близько 20%: RTX 4090 (24 GB) для моделей 7–8B, L40S (48 GB) для 32B у FP8 або 70B у 4-bit, H200 (141 GB) для 70B у FP8, і 8× H200 для 671B DeepSeek. Станом на 29 жовтня 2026 GPUwithCrypto здає H200 в оренду за $3.07/година, з оплатою в криптовалюті.
Яку GPU використовувати для кожного розміру моделі?
Потрібна VRAM = ваги × 1.2 (див. посібник із VRAM). Наша ціна та найнижча self-serve ціна on-demand за GPU-годину, яку ми знайшли серед провайдерів, перевірених 29 жовтня 2026.
| Розмір моделі (приклад) | Потрібна VRAM | Найкраща GPU | Чому | GPUwithCrypto | Найнижча в інших (за GPU) |
|---|---|---|---|---|---|
| 7–8B у BF16 (Llama 3.1 8B, Mistral 7B) | 17.5–19.2 GB | RTX 4090 24GB | Вміщає ваги BF16 плюс кеш на 32K токенів (4.3 GB для Llama 3.1 8B); FP8 Tensor Cores | $0.28/година | $0.33 (Salad) |
| 7–8B з контекстом на 128K токенів | 16 GB + 17.2 GB кешу = 33.2 GB | L40S 48GB | Лише один кеш BF16 на 128K токенів потребує 17.2 GB | $0.82/година | $0.97 (Massed Compute) |
| 30–32B у FP8 (Qwen2.5 32B) | 39 GB | L40S 48GB | 48 GB з FP8 Tensor Cores (733 TFLOPS dense FP8 peak) | $0.82/година | $0.97 (Massed Compute) |
| 30–32B у BF16 | 78 GB | A100 80GB | Початкова GPU на 80 GB у нашому асортименті; без FP8 Tensor Cores, тож подавайте BF16 або 4-bit | $0.92/година | $1.09 (Thunder Compute) |
| 70–72B у 4-bit | 42–43.6 GB | L40S 48GB | Початкова GPU понад 44 GB у нашому асортименті | $0.82/година | $0.97 (Massed Compute) |
| 70–72B у FP8 (Llama 3.1 70B, Qwen2.5 72B) | 84–87.2 GB | H200 141GB | Одна GPU замість двох H100; 54–57 GB залишається для KV cache; 4,800 GB/s | $3.07/година | $3.62 (Massed Compute) |
| gpt-oss-120b (MXFP4) | 78.3 GB | H100 80GB | Її model card розрахована на один GPU 80 GB; FP8 Tensor Cores, 3,350 GB/s (SXM) | $2.32/годину | $2.73 (Massed Compute) |
| DeepSeek V4 Flash (284B MoE) | 191.5 GB | 2× H200 | Її ваги FP4/FP8 займають 159.6 GB; SGLang документує 4× H200 | $6.14/годину | $3.62 (Massed Compute) |
| 405B у FP8 (Llama 3.1 405B) | 486 GB | 4× H200 | 564 GB на чотирьох GPU; 8× H100 вимагали б удвічі більше GPU | $12.28/годину | $3.62 (Massed Compute) |
| 671B–1.6T MoE (DeepSeek-V3/R1 FP8, V4 Pro) | 805–1,037.6 GB | 8× H200 | 1,128 GB на одному хості; 8× H100 вміщують лише 640 GB | $24.56/година | $3.62 (Massed Compute) |
Ціни перевірено
За GPU-годину, USD, без податків. Ціни spot і маркетплейсів не враховані: вони можуть бути нижчими, але GPU можуть забрати.
Чому для інференсу VRAM важливіша за TFLOPS?
VRAM вирішує, чи модель запуститься взагалі, а пропускна здатність пам'яті задає межу швидкості генерації тексту. Кожен новий токен один раз читає з пам'яті всі активні ваги, тож за малих розмірів батчу GPU чекає на пам'ять, а не на арифметику. Обчислення важливіші для довгих промптів (prefill) і для великих батчів користувачів.
Саме тому H200 і H100 мають однакову пікову продуктивність FP8 (1,979 TFLOPS dense, дані NVIDIA), але H200 вміщує на 76% більше пам'яті й рухає її на 43% швидше: 4,800 GB/s проти 3,350 GB/s. Пропускна здатність і TFLOPS тут — пікові дані NVIDIA, а не наші вимірювання.
Який GPU під яку модель? (за VRAM)
Сім GPU, які ми орендуємо, за VRAM на GPU, від найбільшої, бо VRAM вирішує, яка модель вміститься. Пропускна здатність — другий критерій, ціна за годину — третій.
-
1
NVIDIA B200
Найбільше VRAM180 GB HBM3e на 8,000 GB/s (частка на GPU від 8-GPU HGX даних NVIDIA), FP8 і FP4 Tensor Cores. Вміщує модель 70B у BF16 (168 GB) на одному GPU.
-
141 GB HBM3e на 4,800 GB/s. Вміщує модель 70B у FP8 (84 GB) із 57 GB, що лишаються для KV cache. Вісім таких вміщують DeepSeek-V3 або V4 Pro.
-
80 GB HBM3 на 3,350 GB/s (SXM) або 2,000 GB/s (PCIe), FP8 Tensor Cores. Вміщує gpt-oss-120b або модель 32B у BF16.
-
80 GB HBM2e на 2,039 GB/s (SXM) або 1,935 GB/s (PCIe). Без FP8 Tensor Cores: сервінг у BF16 або 4-bit.
-
48 GB GDDR6 на 864 GB/s, FP8 Tensor Cores, без NVLink. Вміщує 32B у FP8 або 70B у 4-bit.
-
32 GB GDDR7 на 1 792 ГБ/с, FP8 та FP4 Tensor Cores. Утримує модель на 12B у BF16 (28,8 GB) або модель на 32B у 4-bit (19,5 GB) із запасом на довгий контекст.
-
24 GB GDDR6X на 1 008 ГБ/с, FP8 Tensor Cores. Утримує модель на 7–8B у BF16.
Розкриття: цю сторінку публікує GPUwithCrypto. Деталі конкурентів взяті з їхніх публічних сайтів на дату, вказану вище, і могли змінитися з того часу.
Чи один H200 вигідніший за два H100?
Для моделі на 70B у FP8 — так: один H200 утримує її, тоді як два H100 мусять розділити її й обмінюватися даними на кожному шарі. Згідно з перевіркою цін GPUwithCrypto від 29 жовтня 2026 року, медіанна on-demand ціна H200 серед 13 провайдерів становила $5.29 за GPU-годину проти $4.16 для H100 серед 16 провайдерів. H200 коштує на 27% більше за годину за 76% більше VRAM, тож він на 28% дешевший за гігабайт пам'яті.
За нашими цінами вибір — $3.07/година за один H200 проти $4.64/годину за два H100. Повне порівняння: H100 vs H200.
А що зі spot- і ринковими GPU?
Вони коштують менше й можуть зникнути посеред завдання. Найдешевша пропозиція H100 на маркетплейсі Vast.ai станом на 29 жовтня 2026 року була $1.73 за годину (публічний прайс-фід Vast.ai), нижче за найнижчу on-demand ціну, яку ми знайшли. Для inference-сервера, що має працювати безперервно, переривання означає простій. Інстанси є on-demand, а не spot: ніхто не може забрати ваш GPU, поки ваш баланс його покриває, і інстанс працює, доки ви його не зупините. Коли що використовувати: що таке spot GPU.
Питання про GPU для LLM inference
Який GPU потрібен для запуску Llama 70B?
Один H200 у FP8 (потрібно 84 GB, доступно 141 GB), один L40S у 4-bit (потрібно 42 GB, доступно 48 GB) або один B200 у BF16 (потрібно 168 GB, доступно 180 GB). Два H100 також утримують FP8-версію, разом 160 GB.
Який GPU найкращий для DeepSeek V4?
H200. Ваги DeepSeek V4 Flash займають 159,6 GB, тож потрібно щонайменше два H200, а в cookbook SGLang задокументовано чотири. Для V4 Pro потрібно 864,7 GB — це вісім H200. Команди є в посібнику з DeepSeek V4.
Чи RTX 4090 добре підходить для LLM inference?
Для моделей 7–8B — так: 24 GB утримують Llama 3.1 8B у BF16 (19,2 GB з накладними витратами), і це початковий GPU нашого ряду з пропускною здатністю 1 008 ГБ/с. Вище приблизно 10B параметрів у BF16 йому бракує пам'яті.
Чи A100 досі гарний для inference у 2026 році?
Для BF16 і 4-bit моделей до 80 GB — так, і це початковий 80 GB GPU нашого ряду. У нього немає FP8 Tensor Cores, тож FP8-чекпойнти краще працюють на L40S, H100 чи H200. Дивіть H100 vs A100.
Чи можна орендувати ці GPU за криптовалюту?
Так. GPUwithCrypto приймає BTC, USDT, USDC, ETH, SOL, LTC, XMR з поповнення 1 USD, без ID і без картки. Інстанси тарифікуються щохвилини за годинною ставкою, поки працюють, з GPU-годин, які ви купили для цього GPU. Зупинка інстансу одразу зупиняє списання.
Джерела (14)
- Характеристики NVIDIA H200 — NVIDIA (read 2026-10-29)
- Характеристики NVIDIA H100 — NVIDIA (read 2026-10-29)
- Характеристики NVIDIA A100 — NVIDIA (read 2026-10-29)
- Характеристики NVIDIA L40S — NVIDIA (read 2026-10-29)
- Платформа NVIDIA HGX (B200) — NVIDIA (read 2026-10-29)
- Технічний документ архітектури NVIDIA Ada GPU (RTX 4090) — NVIDIA (read 2026-10-29)
- Технічний документ архітектури NVIDIA RTX Blackwell (RTX 5090) — NVIDIA (read 2026-10-29)
- Transformer Math 101 — EleutherAI (read 2026-10-29)
- Картка моделі gpt-oss-120b — OpenAI / Hugging Face (read 2026-10-29)
- Cookbook DeepSeek-V4 — SGLang (read 2026-10-29)
- Ціни Massed Compute vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)
- Зміни цін SaladCloud, листопад 2026 blog.salad.com/saladcloud-price-changes-november-2026 — Salad (read 2026-10-29)
- Ціни Thunder Compute thundercompute.com/pricing — Thunder Compute (read 2026-10-29)
- Публічний прайс-лист GPU від Vast.ai — Vast.ai (read 2026-10-29)