Quanta VRAM serve per eseguire o fare fine-tuning di un LLM?

Come calcolo la VRAM necessaria a un modello?

Moltiplica il numero di parametri per i byte che occupa ogni parametro, poi aggiungi il 20%. Esempio pratico, Llama 3.1 70B in FP8: 70 miliardi × 1 byte = 70 GB di pesi, e 70 × 1,2 = 84 GB. È più di una H100 da 80 GB e meno di una H200 da 141 GB, quindi la configurazione minima è una H200. Quale GPU serve ogni modello più velocemente per il prezzo: migliore GPU per l'inferenza LLM.

Il 20% copre la KV cache e le attivazioni con una lunghezza di contesto e un batch size contenuti. La regola e i byte per parametro provengono da Transformer Math 101 di EleutherAI. È una regola di dimensionamento, non una garanzia: prompt lunghi, molti utenti in parallelo e l'overhead del framework la superano. Un totale entro il 5% della VRAM di una scheda, come Qwen2.5 32B in BF16 (78 GB) su una scheda da 80 GB, funziona solo con prompt brevi; per quelli lunghi passa alla dimensione superiore.

Quanta VRAM aggiunge un contesto lungo?

Un contesto lungo aggiunge la KV cache: due vettori (key e value) per layer, per KV head, per token. Per Llama 3.1 70B (80 layer, 8 KV head da 128 valori, come da paper di Llama 3) in BF16: 2 × 80 × 8 × 128 × 2 byte = 327,680 byte per token. Una conversazione da 128K token (131,072 token) richiede quindi 42.9 GB.

Aggiungilo ai pesi FP8: 70 + 42.9 = 112.9 GB, sempre una H200. Quattro conversazioni così insieme richiedono 70 + 4 × 42.9 = 241.6 GB, quindi due H200. Una KV cache in FP8 dimezza i valori della cache. I modelli DeepSeek comprimono la cache di attenzione, quindi questa formula non vale per loro.

Quanta VRAM serve per fare fine-tuning di un LLM?

Il full fine-tuning richiede da 16 a 18 byte per parametro prima delle attivazioni. EleutherAI conta 2 byte di pesi, 12 di stato dell'ottimizzatore (con la copia FP32) e 2 di gradienti; Hugging Face conta 6 + 8 + 4 = 18. LoRA congela il modello base, quindi serve circa 2 byte per parametro per una base BF16; il paper di LoRA riporta un taglio di 3× della memoria GPU rispetto al full fine-tuning. Il nostro margine di pianificazione × 1.2 su LoRA è una nostra convenzione. QLoRA carica la base in 4-bit: i suoi autori hanno fatto fine-tuning di un modello 65B su una singola GPU da 48 GB, 48 ÷ 65 = 0.74 GB per miliardo di parametri, arrotondato a 0.75. Ogni metodo applicato a un modello 70B: miglior GPU per fine-tuning di Llama 70B.

Perché il numero di GPU salta da 2 a 4 a 8?

Il tensor parallelism divide le attention head di ogni layer in parti uguali tra le GPU. vLLM non parte se il numero di head non è divisibile per il numero di GPU. Llama 3.1 70B ha 64 attention head, quindi funzionano 2, 4 o 8 GPU, ma non 3. Tre H100 da 80 GB (240 GB) contengono un modello da 168 GB sulla carta, ma non sono una configurazione utilizzabile; quattro sì. Le istanze hanno da 1 a 8 GPU a seconda dell'host. Prima di avviare, la dashboard mostra per ogni host il paese, il numero di GPU, il form factor (SXM o PCIe) e l'interconnessione.

Quanto costa all'ora la GPU giusta?

La precisione cambia il conto più di qualsiasi altra scelta. Llama 3.1 70B richiede una B200 in BF16 ma una L40S in 4-bit. Secondo il controllo prezzi di GPUwithCrypto del 29 ottobre 2026, i prezzi on-demand self-serve più bassi per queste due GPU erano $5.43 e $0.97 all'ora: il 4-bit riduce il costo orario dell'82%. Ai nostri prezzi la coppia costa $4.61/ora e $0.82/ora. Controlla l'output in 4-bit sui tuoi prompt prima di impegnarti. Ogni GPU e blocco di ore è sulla pagina dei prezzi.