Hoeveel VRAM heb ik nodig om een LLM te draaien of fine-tunen?

Hoe bereken ik de VRAM die een model nodig heeft?

Vermenigvuldig het aantal parameters met het aantal bytes per parameter en tel er 20% bij op. Rekenvoorbeeld, Llama 3.1 70B in FP8: 70 miljard × 1 byte = 70 GB aan gewichten, en 70 × 1,2 = 84 GB. Dat is meer dan één 80 GB H100 en minder dan één 141 GB H200, dus de kleinste fit is één H200. Welke GPU welk model het snelst draait voor het geld: beste GPU voor LLM-inferentie.

Die 20% dekt de KV-cache en activaties bij een bescheiden contextlengte en batchgrootte. De regel en de bytes per parameter komen uit Transformer Math 101 van EleutherAI. Het is een vuistregel voor dimensionering, geen garantie: lange prompts, veel parallelle gebruikers en framework-overhead gaan eroverheen. Een totaal binnen 5% van de VRAM van een kaart, zoals Qwen2.5 32B in BF16 (78 GB) op een 80 GB-kaart, draait alleen met korte prompts; neem voor lange prompts de maat groter.

Hoeveel VRAM voegt een lange context toe?

Een lange context voegt de KV-cache toe: twee vectoren (key en value) per laag, per KV-head, per token. Voor Llama 3.1 70B (80 lagen, 8 KV-heads van 128 waarden, volgens de Llama 3-paper) in BF16: 2 × 80 × 8 × 128 × 2 bytes = 327.680 bytes per token. Eén gesprek van 128K tokens (131.072 tokens) vereist dus 42,9 GB.

Tel dat op bij de FP8-weights: 70 + 42,9 = 112,9 GB, nog steeds één H200. Vier zulke gesprekken tegelijk vereisen 70 + 4 × 42,9 = 241,6 GB, dus twee H200's. Een FP8 KV-cache halveert de cache-cijfers. DeepSeek-modellen comprimeren hun attention-cache, dus deze formule geldt niet voor hen.

Hoeveel VRAM heb ik nodig om een LLM te fine-tunen?

Volledig fine-tunen vereist 16 tot 18 bytes per parameter vóór activaties. EleutherAI rekent 2 bytes voor weights, 12 voor optimizer-state (met de FP32-kopie) en 2 voor gradients; Hugging Face rekent 6 + 8 + 4 = 18. LoRA bevriest het basismodel, dus het vereist ongeveer 2 bytes per parameter voor een BF16-basis; de LoRA-paper meldt een 3× kleinere GPU-geheugenvoetafdruk dan volledig fine-tunen. Onze planningsmarge van × 1,2 op LoRA is onze eigen conventie. QLoRA laadt de basis in 4-bit: de auteurs fine-tuneden een 65B-model op één 48 GB-GPU, 48 ÷ 65 = 0,74 GB per miljard parameters, afgerond naar 0,75. Elke methode toegepast op een 70B-model: beste GPU om Llama 70B te fine-tunen.

Waarom springen GPU-aantallen van 2 naar 4 naar 8?

Tensor parallelism verdeelt de attention heads van elke laag gelijkmatig over de GPU's. vLLM start niet als het aantal heads niet deelbaar is door het aantal GPU's. Llama 3.1 70B heeft 64 attention heads, dus 2, 4 of 8 GPU's werken en 3 niet. Drie 80 GB H100's (240 GB) bevatten op papier een model van 168 GB, maar dat is geen bruikbare indeling; vier wel. Instances hebben 1 tot 8 GPU's, afhankelijk van de host. Voordat je start toont het dashboard het land, het aantal GPU's, de form factor (SXM of PCIe) en de interconnect van elke host.

Hoeveel kost de juiste GPU per uur?

Precisie verandert de rekening meer dan welke andere keuze ook. Llama 3.1 70B heeft één B200 nodig in BF16, maar één L40S in 4-bit. Volgens de prijscheck van GPUwithCrypto van 29 oktober 2026 waren de laagste self-serve on-demand prijzen voor die twee GPU's $5.43 en $0.97 per uur: 4-bit verlaagt de kosten per uur met 82%. Bij onze prijzen kost het paar $4,61/uur en $0,82/uur. Controleer de 4-bit output op je eigen prompts voordat je je vastlegt. Elke GPU en elk blok uren staat op de prijspagina.