Risposta rapida
Qual è la GPU migliore per l'inferenza LLM?
La GPU migliore per l'inferenza LLM è la più economica la cui VRAM contiene il modello più circa il 20%: una RTX 4090 (24 GB) per modelli da 7–8B, una L40S (48 GB) per 32B in FP8 o 70B in 4-bit, una H200 (141 GB) per 70B in FP8, e 8× H200 per DeepSeek 671B. Al 29 ottobre 2026, GPUwithCrypto noleggia la H200 a $3.07/ora, pagando in criptovalute.
Quale GPU dovrei usare per ogni dimensione di modello?
VRAM necessaria = pesi × 1.2 (vedi la guida alla VRAM). Il nostro prezzo e il prezzo on-demand self-serve più basso per GPU-ora che abbiamo trovato tra i provider controllati il 29 ottobre 2026.
| Dimensione del modello (esempio) | VRAM necessaria | GPU migliore | Perché | GPUwithCrypto | Più basso altrove (per GPU) |
|---|---|---|---|---|---|
| 7–8B in BF16 (Llama 3.1 8B, Mistral 7B) | 17,5–19,2 GB | RTX 4090 24GB | Contiene i pesi BF16 più una cache da 32K token (4,3 GB su Llama 3.1 8B); Tensor Core FP8 | $0.28/ora | $0.33 (Salad) |
| 7–8B con contesto da 128K token | 16 GB + 17,2 GB di cache = 33,2 GB | L40S 48GB | Solo una cache BF16 da 128K token richiede 17,2 GB | $0.82/ora | $0.97 (Massed Compute) |
| 30–32B in FP8 (Qwen2.5 32B) | 39 GB | L40S 48GB | 48 GB con Tensor Core FP8 (picco FP8 dense di 733 TFLOPS) | $0.82/ora | $0.97 (Massed Compute) |
| 30–32B in BF16 | 78 GB | A100 80GB | La GPU da 80 GB di fascia base nella nostra offerta; senza Tensor Core FP8, quindi serve BF16 o 4-bit | $0.92/ora | $1.09 (Thunder Compute) |
| 70–72B in 4-bit | 42–43,6 GB | L40S 48GB | GPU di fascia base sopra i 44 GB nella nostra offerta | $0.82/ora | $0.97 (Massed Compute) |
| 70–72B in FP8 (Llama 3.1 70B, Qwen2.5 72B) | 84–87,2 GB | H200 141GB | Una GPU invece di due H100; 54–57 GB liberi per la KV cache; 4.800 GB/s | $3.07/ora | $3.62 (Massed Compute) |
| gpt-oss-120b (MXFP4) | 78.3 GB | H100 80GB | La sua model card è pensata per una singola GPU da 80 GB; Tensor Core FP8, 3.350 GB/s (SXM) | $2.32/ora | $2.73 (Massed Compute) |
| DeepSeek V4 Flash (284B MoE) | 191.5 GB | 2× H200 | I suoi pesi FP4/FP8 occupano 159,6 GB; SGLang documenta 4× H200 | $6.14/ora | $3.62 (Massed Compute) |
| 405B in FP8 (Llama 3.1 405B) | 486 GB | 4× H200 | 564 GB su quattro GPU; 8× H100 richiederebbe il doppio delle GPU | $12.28/ora | $3.62 (Massed Compute) |
| MoE da 671B–1,6T (DeepSeek-V3/R1 FP8, V4 Pro) | 805–1.037,6 GB | 8× H200 | 1.128 GB su un singolo host; 8× H100 arrivano solo a 640 GB | $24.56/ora | $3.62 (Massed Compute) |
Prezzi verificati il
Per GPU-ora, in USD, tasse escluse. I prezzi spot e dei marketplace non sono conteggiati: possono essere più bassi, ma la GPU può essere ritirata.
Perché per l'inferenza la VRAM conta più dei TFLOPS?
La VRAM decide se il modello può girare, e la bandwidth della memoria fissa il limite di velocità nella generazione del testo. Ogni nuovo token legge una volta dalla memoria tutti i pesi attivi, quindi con batch piccoli la GPU aspetta la memoria, non l'aritmetica. La potenza di calcolo conta di più per i prompt lunghi (prefill) e per i batch grandi di utenti.
Ecco perché una H200 e una H100 hanno lo stesso picco di calcolo FP8 (1.979 TFLOPS dense, dati NVIDIA) ma la H200 ha il 76% di memoria in più e la muove il 43% più velocemente: 4.800 GB/s contro 3.350 GB/s. Qui bandwidth e TFLOPS sono i valori di picco di NVIDIA, non misurazioni nostre.
Quale GPU è adatta a quale modello? (in ordine di VRAM)
Le sette GPU che noleggiamo, elencate per VRAM per GPU, dalla più grande, perché è la VRAM a decidere quale modello ci sta. La bandwidth è il secondo criterio, il prezzo per ora il terzo.
-
1
NVIDIA B200
Più VRAM180 GB di HBM3e a 8.000 GB/s (quota per GPU dei valori NVIDIA per l'8-GPU HGX), Tensor Core FP8 e FP4. Contiene un modello 70B in BF16 (168 GB) su una singola GPU.
-
141 GB di HBM3e a 4.800 GB/s. Contiene un modello 70B in FP8 (84 GB) con 57 GB liberi per la KV cache. Otto di queste contengono DeepSeek-V3 o V4 Pro.
-
80 GB di HBM3 a 3.350 GB/s (SXM) o 2.000 GB/s (PCIe), Tensor Core FP8. Contiene gpt-oss-120b, oppure un modello 32B in BF16.
-
80 GB di HBM2e a 2.039 GB/s (SXM) o 1.935 GB/s (PCIe). Niente Tensor Core FP8: fai serving in BF16 o a 4 bit.
-
48 GB di GDDR6 a 864 GB/s, Tensor Core FP8, senza NVLink. Contiene 32B in FP8 o 70B a 4 bit.
-
32 GB di GDDR7 a 1.792 GB/s, Tensor Core FP8 e FP4. Ospita un modello da 12B in BF16 (28,8 GB) o un modello da 32B in 4-bit (19,5 GB) con spazio per un contesto lungo.
-
24 GB di GDDR6X a 1.008 GB/s, Tensor Core FP8. Ospita un modello da 7–8B in BF16.
Informativa: questa pagina è pubblicata da GPUwithCrypto. I dettagli sui concorrenti provengono dai loro siti web pubblici alla data indicata sopra e potrebbero essere cambiati da allora.
Una H200 conviene più di due H100?
Per un modello da 70B in FP8, sì: una H200 lo ospita, mentre due H100 devono dividerlo e scambiare dati a ogni layer. Secondo il controllo prezzi di GPUwithCrypto del 29 ottobre 2026, la mediana on-demand della H200 su 13 provider era $5.29 per GPU-ora, contro $4.16 per una H100 su 16 provider. La H200 costa il 27% in più all'ora per il 76% in più di VRAM, quindi costa il 28% in meno per GB di memoria.
Ai nostri prezzi la scelta è $3.07/ora per una H200 contro $4.64/ora per due H100. Confronto completo: H100 vs H200.
E le GPU spot e dei marketplace?
Costano meno e possono sparire a metà lavoro. L'offerta H100 più economica sul marketplace di Vast.ai era $1.73 all'ora il 29 ottobre 2026 (feed prezzi pubblico di Vast.ai), sotto il prezzo on-demand più basso che abbiamo trovato. Per un server di inferenza che deve restare attivo, un'interruzione significa downtime. Le istanze sono on-demand, non spot: nessuno può riprendersi la tua GPU finché il tuo saldo la copre, e l'istanza resta attiva finché non la fermi. Quando usare l'una o l'altra: cos'è una GPU spot.
Domande sulle GPU per l'inferenza LLM
Quale GPU mi serve per eseguire Llama 70B?
Una H200 in FP8 (84 GB necessari, 141 GB disponibili), una L40S in 4-bit (42 GB necessari, 48 GB disponibili) o una B200 in BF16 (168 GB necessari, 180 GB disponibili). Anche due H100 ospitano la versione FP8, con 160 GB in totale.
Qual è la GPU migliore per DeepSeek V4?
La H200. I pesi di DeepSeek V4 Flash occupano 159,6 GB, quindi servono almeno due H200, e il cookbook di SGLang ne documenta quattro. Gli 864,7 GB di V4 Pro richiedono otto H200. I comandi sono nella guida a DeepSeek V4.
La RTX 4090 va bene per l'inferenza LLM?
Per modelli 7–8B, sì: 24 GB ospitano Llama 3.1 8B in BF16 (19,2 GB con overhead) ed è la GPU entry della nostra gamma, con 1.008 GB/s di banda. Oltre circa 10B parametri in BF16 finisce la memoria.
La A100 va ancora bene per l'inferenza nel 2026?
Per modelli BF16 e 4-bit fino a 80 GB, sì, ed è la GPU entry da 80 GB della nostra gamma. Non ha Tensor Core FP8, quindi i checkpoint FP8 girano meglio su una L40S, H100 o H200. Vedi H100 vs A100.
Posso noleggiare queste GPU con criptovalute?
Sì. GPUwithCrypto accetta BTC, USDT, USDC, ETH, SOL, LTC, XMR da una ricarica 1 USD, senza documento e senza carta. Le istanze sono fatturate al minuto alla tariffa oraria finché sono in esecuzione, attingendo alle GPU-ora che hai acquistato per quella GPU. Fermare un'istanza interrompe subito l'addebito.
Fonti (14)
- Specifiche NVIDIA H200 — NVIDIA (read 2026-10-29)
- Specifiche NVIDIA H100 — NVIDIA (read 2026-10-29)
- Specifiche NVIDIA A100 — NVIDIA (read 2026-10-29)
- Specifiche NVIDIA L40S — NVIDIA (read 2026-10-29)
- Piattaforma NVIDIA HGX (B200) — NVIDIA (read 2026-10-29)
- Whitepaper sull'architettura NVIDIA Ada GPU (RTX 4090) — NVIDIA (read 2026-10-29)
- Whitepaper dell'architettura NVIDIA RTX Blackwell (RTX 5090) — NVIDIA (read 2026-10-29)
- Transformer Math 101 — EleutherAI (read 2026-10-29)
- Model card di gpt-oss-120b — OpenAI / Hugging Face (read 2026-10-29)
- Cookbook DeepSeek-V4 — SGLang (read 2026-10-29)
- Prezzi di Massed Compute vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)
- Variazioni di prezzo di SaladCloud, novembre 2026 blog.salad.com/saladcloud-price-changes-november-2026 — Salad (read 2026-10-29)
- Prezzi di Thunder Compute thundercompute.com/pricing — Thunder Compute (read 2026-10-29)
- Feed pubblico dei prezzi GPU di Vast.ai — Vast.ai (read 2026-10-29)