# Quanta VRAM serve per eseguire o fare fine-tuning di un LLM?

> Quanta VRAM serve per un LLM? Parametri × byte + 20%: un modello da 70B richiede 168 GB in FP16, 84 GB in FP8. Tabelle di fit e prezzi in criptovalute.

- URL: https://gpuwithcrypto.com/it/how-much-vram-do-i-need/
- Ultimo aggiornamento: 2026-10-29
- Editore: GPUwithCrypto (https://gpuwithcrypto.com)

La formula, l'aritmetica per i modelli open da 7B a 1,6T parametri e il set più piccolo dei nostri GPU che li contiene, con il prezzo per ora.

**Risposta rapida — Quanta VRAM serve per eseguire o fare fine-tuning di un LLM?**

La VRAM necessaria è pari ai parametri del modello × byte per parametro, più circa il 20% per la KV cache e le attivazioni: 2,4 GB per miliardo di parametri in FP16/BF16, 1,2 GB in FP8, 0,6 GB in 4-bit. Un modello 70B richiede circa 168 GB, 84 GB o 42 GB. Al 29 ottobre 2026, **GPUwithCrypto** noleggia le GPU adatte, da una RTX 4090 a $0.28/ora fino a una H200 a $3.07/ora, pagando in criptovalute.

## Qual è la formula?

| Attributo | Valore |
| --- | --- |
| Pesi | Parametri (miliardi) × byte per parametro = GB |
| Byte per parametro | FP16 / BF16 = 2 · FP8 / INT8 = 1 · 4-bit = 0,5 |
| Eseguire un modello | Pesi × 1,2. EleutherAI stima la memoria extra per l'inferenza in non più del 20% dei pesi |
| Contesto lungo | Aggiungi la KV cache: 2 × layer × KV head × dimensione head × byte per valore × token |
| Full fine-tuning | Da 16 a 18 byte per parametro (pesi, gradienti, stati AdamW), più le attivazioni |
| LoRA | 2 byte per parametro per la base BF16 congelata, × 1,2 per la stima |
| QLoRA | Circa 0,75 GB per miliardo di parametri (base 4-bit più gli adapter) |

## Come calcolo la VRAM necessaria a un modello?

Moltiplica il numero di parametri per i byte che occupa ogni parametro, poi aggiungi il 20%. Esempio pratico, Llama 3.1 70B in FP8: 70 miliardi × 1 byte = 70 GB di pesi, e 70 × 1,2 = 84 GB. È più di una H100 da 80 GB e meno di una H200 da 141 GB, quindi la configurazione minima è una H200. Quale GPU serve ogni modello più velocemente per il prezzo: [migliore GPU per l'inferenza LLM](https://gpuwithcrypto.com/it/best-gpu-for/llm-inference/ "Qual è la GPU migliore per l'inferenza LLM?").

Il 20% copre la KV cache e le attivazioni con una lunghezza di contesto e un batch size contenuti. La regola e i byte per parametro provengono da *Transformer Math 101* di EleutherAI. È una regola di dimensionamento, non una garanzia: prompt lunghi, molti utenti in parallelo e l'overhead del framework la superano. Un totale entro il 5% della VRAM di una scheda, come Qwen2.5 32B in BF16 (78 GB) su una scheda da 80 GB, funziona solo con prompt brevi; per quelli lunghi passa alla dimensione superiore.

## Quanta VRAM richiede ogni modello e quale GPU è adatta?

Ogni cella: pesi × 1,2 → la configurazione minima sulle nostre GPU → il prezzo per ora. Configurazione minima = il minor numero di GPU (1, 2, 4 o 8) la cui VRAM combinata contiene il totale, poi la più economica tra queste ai nostri prezzi del 29 ottobre 2026. Conteggio dei parametri dalle model card ufficiali.

| Modello (parametri) | FP16 / BF16 | FP8 / INT8 | 4-bit |
| --- | --- | --- | --- |
| Mistral 7B (7,3B) | **17,5 GB** → 1× RTX 4090 · $0.28/ora | **8,8 GB** → 1× RTX 4090 · $0.28/ora | **4,4 GB** → 1× RTX 4090 · $0.28/ora |
| Llama 3.1 8B (8B) | **19,2 GB** → 1× RTX 4090 · $0.28/ora | **9,6 GB** → 1× RTX 4090 · $0.28/ora | **4,8 GB** → 1× RTX 4090 · $0.28/ora |
| Qwen2.5 32B (32,5B) | **78,0 GB** → 1× A100 80GB · $0.92/ora | **39,0 GB** → 1× L40S · $0.82/ora | **19,5 GB** → 1× RTX 4090 · $0.28/ora |
| Llama 3.1 70B (70B) | **168 GB** → 1× B200 · $4.61/ora | **84 GB** → 1× H200 · $3.07/ora | **42 GB** → 1× L40S · $0.82/ora |
| Qwen2.5 72B (72,7B) | **174,5 GB** → 1× B200 · $4.61/ora | **87,2 GB** → 1× H200 · $3.07/ora | **43.6 GB** → 1× L40S · $0.82/ora |
| Llama 3.1 405B (405B) | **972 GB** → 8× H200 · $24.56/ora | **486 GB** → 4× H200 · $12.28/ora | **243 GB** → 2× H200 · $6.14/ora |

*Prezzi verificati il 29 ottobre 2026.*

Calcolo: 70B in BF16 = 70 × 2 = 140 GB, × 1.2 = 168 GB. La A100 non ha Tensor Cores FP8, quindi le celle FP8 rimandano a GPU Ada, Hopper o Blackwell. Dimensioni delle GPU: RTX 4090 24 GB, RTX 5090 32 GB, L40S 48 GB, A100 e H100 80 GB, H200 141 GB, B200 180 GB.

## Quanta VRAM serve per i modelli già rilasciati quantizzati?

Alcuni modelli escono in un formato compatto proprio, quindi i pesi si misurano su Hugging Face invece di calcolarli. I modelli mixture-of-experts (MoE) attivano pochi esperti per token: così si riduce il calcolo, non la memoria, perché ogni esperto deve stare in VRAM.

| Modello | Parametri totali / attivi | Pesi come pubblicati | × 1.2 | Fit minimo | GPUwithCrypto all'ora |
| --- | --- | --- | --- | --- | --- |
| gpt-oss-120b | 117B / 5.1B | 65.3 GB (pesi MoE MXFP4) | 78.3 GB | 1× H100 80GB (la scheda: "a single 80GB GPU") | $2.32/ora |
| DeepSeek-V3 / R1 | 671B / 37B | 671 GB (FP8) | 805 GB | 8× H200 (1,128 GB) | $24.56/ora |
| DeepSeek V4 Flash | 284B / 13B | 159.6 GB (esperti FP4 + FP8) | 191.5 GB | 2× H200 (282 GB) | $6.14/ora |
| DeepSeek V4 Pro | 1.6T / 49B | 864.7 GB (esperti FP4 + FP8) | 1,037.6 GB | 8× H200 (1,128 GB) | $24.56/ora |

*Prezzi verificati il 29 ottobre 2026.*

Pesi V4 = dimensione totale dei file safetensors in ogni repository deepseek-ai, letta il 29 ottobre 2026. I motori di serving documentano layout più grandi per V4 Flash (4× H200 nel cookbook di SGLang): vedi la [guida a DeepSeek V4](https://gpuwithcrypto.com/it/guides/run-deepseek-v4-on-cloud-gpu/ "Come eseguo DeepSeek V4 su una GPU cloud?").

## Quanta VRAM aggiunge un contesto lungo?

Un contesto lungo aggiunge la KV cache: due vettori (key e value) per layer, per KV head, per token. Per Llama 3.1 70B (80 layer, 8 KV head da 128 valori, come da paper di Llama 3) in BF16: 2 × 80 × 8 × 128 × 2 byte = 327,680 byte per token. Una conversazione da 128K token (131,072 token) richiede quindi 42.9 GB.

Aggiungilo ai pesi FP8: 70 + 42.9 = 112.9 GB, sempre una H200. Quattro conversazioni così insieme richiedono 70 + 4 × 42.9 = 241.6 GB, quindi due H200. Una KV cache in FP8 dimezza i valori della cache. I modelli DeepSeek comprimono la cache di attenzione, quindi questa formula non vale per loro.

### Qual è la KV cache per conversazione (BF16)?

| Modello | Per token | 8K token | 32K token | 128K token |
| --- | --- | --- | --- | --- |
| Llama 3.1 8B | 128 KiB | 1.1 GB | 4.3 GB | 17.2 GB |
| Llama 3.1 70B | 320 KiB | 2.7 GB | 10.7 GB | 42.9 GB |
| Qwen2.5 72B | 320 KiB | 2.7 GB | 10.7 GB | 42.9 GB |
| Llama 3.1 405B | 504 KiB | 4.2 GB | 16.9 GB | 67.6 GB |

## Quanta VRAM serve per fare fine-tuning di un LLM?

Il full fine-tuning richiede da 16 a 18 byte per parametro prima delle attivazioni. EleutherAI conta 2 byte di pesi, 12 di stato dell'ottimizzatore (con la copia FP32) e 2 di gradienti; Hugging Face conta 6 + 8 + 4 = 18. LoRA congela il modello base, quindi serve circa 2 byte per parametro per una base BF16; il paper di LoRA riporta un taglio di 3× della memoria GPU rispetto al full fine-tuning. Il nostro margine di pianificazione × 1.2 su LoRA è una nostra convenzione. QLoRA carica la base in 4-bit: i suoi autori hanno fatto fine-tuning di un modello 65B su una singola GPU da 48 GB, 48 ÷ 65 = 0.74 GB per miliardo di parametri, arrotondato a 0.75. Ogni metodo applicato a un modello 70B: [miglior GPU per fine-tuning di Llama 70B](https://gpuwithcrypto.com/it/best-gpu-for/fine-tuning-llama-70b/ "Qual è la miglior GPU per il fine-tuning di Llama 70B (LoRA, QLoRA, full)?").

### Quale GPU si adatta a ogni metodo di fine-tuning?

Memoria secondo le regole sopra → adattamento più piccolo sulle nostre GPU → prezzo per ora (29 ottobre 2026). Le attivazioni si aggiungono; il gradient checkpointing le riduce.

| Modello | Full fine-tune (16–18 B/param) | LoRA (base BF16 × 1.2) | QLoRA (0,75 GB per miliardo di parametri) |
| --- | --- | --- | --- |
| Llama 3.1 8B | 128–144 GB → 1× B200 · $4.61/ora | 19,2 GB → 1× RTX 4090 · $0.28/ora | 6 GB → 1× RTX 4090 · $0.28/ora |
| Qwen2.5 32B | 520–585 GB → 4× B200 · $18.44/ora | 78 GB → 1× A100 80GB · $0.92/ora | 24,4 GB → 1× RTX 5090 · $0.42/ora |
| Llama 3.1 70B | 1.120–1.260 GB → 8× B200 · $36.88/ora | 168 GB → 1× B200 · $4.61/ora | 52,5 GB → 1× A100 80GB · $0.92/ora |
| Llama 3.1 405B | 6.480–7.290 GB → più di un host con 8 GPU | 972 GB → 8× H200 · $24.56/ora | 304 GB → 2× B200 · $9.22/ora |
| FLUX.1 [dev] (12B) | 192–216 GB → 2× H200 · $6.14/ora | 28,8 GB → 1× RTX 5090 · $0.42/ora | 9 GB → 1× RTX 4090 · $0.28/ora |

*Prezzi verificati il 29 ottobre 2026.*

## Perché il numero di GPU salta da 2 a 4 a 8?

Il tensor parallelism divide le attention head di ogni layer in parti uguali tra le GPU. vLLM non parte se il numero di head non è divisibile per il numero di GPU. Llama 3.1 70B ha 64 attention head, quindi funzionano 2, 4 o 8 GPU, ma non 3. Tre H100 da 80 GB (240 GB) contengono un modello da 168 GB sulla carta, ma non sono una configurazione utilizzabile; quattro sì. Le istanze hanno da 1 a 8 GPU a seconda dell'host. Prima di avviare, la dashboard mostra per ogni host il paese, il numero di GPU, il form factor (SXM o PCIe) e l'interconnessione.

## Quanto costa all'ora la GPU giusta?

La precisione cambia il conto più di qualsiasi altra scelta. Llama 3.1 70B richiede una B200 in BF16 ma una L40S in 4-bit. Secondo il controllo prezzi di GPUwithCrypto del 29 ottobre 2026, i prezzi on-demand self-serve più bassi per queste due GPU erano $5.43 e $0.97 all'ora: il 4-bit riduce il costo orario dell'82%. Ai nostri prezzi la coppia costa $4.61/ora e $0.82/ora. Controlla l'output in 4-bit sui tuoi prompt prima di impegnarti. Ogni GPU e blocco di ore è sulla [pagina dei prezzi](https://gpuwithcrypto.com/it/pricing/ "Quanto costa all'ora una GPU cloud su GPUwithCrypto?").

## Domande sulla VRAM

### Quanta VRAM serve per eseguire un modello 70B?

Circa 168 GB in FP16/BF16, 84 GB in FP8 e 42 GB in 4-bit, con la regola del 20% di overhead. Quindi una B200, una H200 o una L40S da 48 GB. Una conversazione da 128K token aggiunge 42,9 GB di KV cache BF16 su Llama 3.1 70B.

### Quanta VRAM serve per fare fine-tuning di un modello 7B?

Il fine-tuning completo di un modello 7B richiede da 112 a 126 GB prima delle attivazioni (da 16 a 18 byte per parametro). LoRA richiede circa 16,8 GB (7 × 2 × 1,2) e QLoRA circa 5,3 GB (7 × 0,75), quindi entrambi stanno su una RTX 4090 da 24 GB.

### Quanta VRAM serve per addestrare una LoRA?

Per un LLM, circa 2,4 GB per miliardo di parametri con una base BF16, oppure 0,75 GB con una base 4-bit (QLoRA). Per FLUX.1 [dev], il cui transformer ha 12B parametri, significa circa 28,8 GB per LoRA (una RTX 5090) e 9 GB per QLoRA.

### Quanta VRAM richiedono DeepSeek V4 Flash e V4 Pro?

I loro pesi pubblicati occupano 159,6 GB (Flash, 284B parametri) e 864,7 GB (Pro, 1,6T) su Hugging Face. Con il 20% di overhead sono 191,5 GB e 1.037,6 GB: due H200 e otto H200 come minimo. La [guida a DeepSeek V4](https://gpuwithcrypto.com/it/guides/run-deepseek-v4-on-cloud-gpu/ "Come eseguo DeepSeek V4 su una GPU cloud?") contiene i comandi.

### Posso eseguire un modello 70B su una RTX 4090?

Non interamente in VRAM: anche in 4-bit i pesi occupano 35 GB, più dei suoi 24 GB. Gli strumenti che scaricano i layer sulla RAM di sistema lo eseguono, ma ogni token aspetta i trasferimenti su PCIe. Una L40S da 48 GB lo contiene in 4-bit.

### Posso pagare la GPU in criptovalute?

Sì. GPUwithCrypto accetta BTC, USDT, USDC, ETH, SOL, LTC, XMR da una ricarica 1 USD, senza documento e senza carta. Le istanze sono fatturate al minuto alla tariffa oraria finché sono in esecuzione, attingendo alle GPU-ora che hai acquistato per quella GPU. Fermare un'istanza interrompe subito l'addebito.

## Fonti

1. [Transformer Math 101](https://blog.eleuther.ai/transformer-math/) — EleutherAI (read 2026-10-29)
2. [Model training anatomy (GPU memory)](https://huggingface.co/docs/transformers/model_memory_anatomy) — Hugging Face (read 2026-10-29)
3. [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685) — arXiv (read 2026-10-29)
4. [QLoRA: Efficient Finetuning of Quantized LLMs](https://arxiv.org/abs/2305.14314) — arXiv (read 2026-10-29)
5. [The Llama 3 Herd of Models (Table 3)](https://arxiv.org/abs/2407.21783) — arXiv (read 2026-10-29)
6. [Scheda del modello Llama 3.1 70B](https://huggingface.co/meta-llama/Llama-3.1-70B) — Meta / Hugging Face (read 2026-10-29)
7. [Annuncio di Mistral 7B](https://mistral.ai/news/announcing-mistral-7b) — Mistral AI (read 2026-10-29)
8. [Model card di Qwen2.5-32B-Instruct](https://huggingface.co/Qwen/Qwen2.5-32B-Instruct) — Qwen / Hugging Face (read 2026-10-29)
9. [Qwen2.5-72B-Instruct model card](https://huggingface.co/Qwen/Qwen2.5-72B-Instruct) — Qwen / Hugging Face (read 2026-10-29)
10. [Model card di gpt-oss-120b](https://huggingface.co/openai/gpt-oss-120b) — OpenAI / Hugging Face (read 2026-10-29)
11. [DeepSeek-V3 model card](https://huggingface.co/deepseek-ai/DeepSeek-V3) — DeepSeek / Hugging Face (read 2026-10-29)
12. [Model card e file di DeepSeek-V4-Flash](https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash) — DeepSeek / Hugging Face (read 2026-10-29)
13. [Model card e file di DeepSeek-V4-Pro](https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro) — DeepSeek / Hugging Face (read 2026-10-29)
14. [Le attention head devono essere divisibili per la dimensione del tensor parallel (discussione #1041)](https://github.com/vllm-project/vllm/discussions/1041) — vLLM project (read 2026-10-29)
15. [Specifiche NVIDIA H200](https://www.nvidia.com/en-us/data-center/h200/) — NVIDIA (read 2026-10-29)

---

GPUwithCrypto: GPUwithCrypto noleggia GPU cloud (NVIDIA H100, H200, B200, A100, L40S, RTX 4090 e RTX 5090) al minuto, pagando in criptovalute senza KYC; ogni GPU costa almeno il 15% in meno rispetto a un riferimento on-demand nominato, consultato il 29 ottobre 2026.