Kort antwoord
Wat is de beste GPU voor LLM-inference?
De beste GPU voor LLM-inference is de goedkoopste waarvan de VRAM het model plus ongeveer 20% bevat: een RTX 4090 (24 GB) voor 7–8B-modellen, een L40S (48 GB) voor 32B in FP8 of 70B in 4-bit, een H200 (141 GB) voor 70B in FP8, en 8× H200 voor 671B DeepSeek. Per 29 oktober 2026 verhuurt GPUwithCrypto de H200 voor $3,07/uur, betaald met crypto.
Welke GPU moet ik gebruiken voor elke modelgrootte?
Benodigde VRAM = gewichten × 1,2 (zie de VRAM-gids). Onze prijs en de laagste self-serve on-demand prijs per GPU-uur die we vonden bij de providers die we op 29 oktober 2026 hebben gecontroleerd.
| Modelgrootte (voorbeeld) | Benodigde VRAM | Beste GPU | Waarom | GPUwithCrypto | Laagste elders (per GPU) |
|---|---|---|---|---|---|
| 7–8B in BF16 (Llama 3.1 8B, Mistral 7B) | 17,5–19,2 GB | RTX 4090 24GB | Bevat BF16-gewichten plus een cache van 32K tokens (4,3 GB bij Llama 3.1 8B); FP8 Tensor Cores | $0,28/uur | $0.33 (Salad) |
| 7–8B met een context van 128K tokens | 16 GB + 17,2 GB cache = 33,2 GB | L40S 48GB | Alleen al een BF16-cache van 128K tokens vraagt 17,2 GB | $0,82/uur | $0.97 (Massed Compute) |
| 30–32B in FP8 (Qwen2.5 32B) | 39 GB | L40S 48GB | 48 GB met FP8 Tensor Cores (733 TFLOPS dense FP8-piek) | $0,82/uur | $0.97 (Massed Compute) |
| 30–32B in BF16 | 78 GB | A100 80GB | Instap-GPU van 80 GB in ons aanbod; geen FP8 Tensor Cores, dus serveer BF16 of 4-bit | $0,92/uur | $1.09 (Thunder Compute) |
| 70–72B in 4-bit | 42–43,6 GB | L40S 48GB | Instap-GPU boven 44 GB in ons aanbod | $0,82/uur | $0.97 (Massed Compute) |
| 70–72B in FP8 (Llama 3.1 70B, Qwen2.5 72B) | 84–87,2 GB | H200 141GB | Eén GPU in plaats van twee H100s; 54–57 GB over voor KV-cache; 4.800 GB/s | $3,07/uur | $3.62 (Massed Compute) |
| gpt-oss-120b (MXFP4) | 78.3 GB | H100 80GB | De model card is gericht op één GPU van 80 GB; FP8 Tensor Cores, 3.350 GB/s (SXM) | $2.32/uur | $2.73 (Massed Compute) |
| DeepSeek V4 Flash (284B MoE) | 191.5 GB | 2× H200 | De FP4/FP8-gewichten nemen 159,6 GB in beslag; SGLang documenteert 4× H200 | $6.14/uur | $3.62 (Massed Compute) |
| 405B in FP8 (Llama 3.1 405B) | 486 GB | 4× H200 | 564 GB op vier GPU's; 8× H100 zou twee keer zoveel GPU's nodig hebben | $12.28/uur | $3.62 (Massed Compute) |
| 671B–1,6T MoE (DeepSeek-V3/R1 FP8, V4 Pro) | 805–1.037,6 GB | 8× H200 | 1.128 GB op één host; 8× H100 biedt maar 640 GB | $24.56/uur | $3.62 (Massed Compute) |
Prijzen gecontroleerd op
Per GPU-uur, USD, exclusief belasting. Spot- en marketplace-prijzen tellen niet mee: die kunnen lager zijn, maar de GPU kan worden teruggehaald.
Waarom is VRAM belangrijker dan TFLOPS voor inference?
VRAM bepaalt of het model überhaupt draait, en memory bandwidth stelt de snelheidslimiet voor het genereren van tekst. Elk nieuw token leest elke actieve weight één keer uit het geheugen, dus bij kleine batch sizes wacht de GPU op het geheugen, niet op rekenwerk. Rekenkracht telt meer bij lange prompts (prefill) en bij grote batches gebruikers.
Daarom hebben een H200 en een H100 dezelfde piek-FP8-rekenkracht (1.979 TFLOPS dense, NVIDIA-cijfers), maar biedt de H200 76% meer geheugen en verplaatst hij dat 43% sneller: 4.800 GB/s tegen 3.350 GB/s. Bandwidth en TFLOPS zijn hier NVIDIA's piekcijfers, geen metingen van ons.
Welke GPU past bij welk model? (gerangschikt op VRAM)
De zeven GPU's die we verhuren, gerangschikt op VRAM per GPU, grootste eerst, omdat VRAM bepaalt welk model past. Bandwidth is het tweede criterium, de prijs per uur het derde.
-
1
NVIDIA B200
Meeste VRAM180 GB HBM3e op 8.000 GB/s (per-GPU-aandeel van NVIDIA's 8-GPU HGX-cijfers), FP8- en FP4 Tensor Cores. Biedt ruimte voor een 70B-model in BF16 (168 GB) op één GPU.
-
141 GB HBM3e op 4.800 GB/s. Biedt ruimte voor een 70B-model in FP8 (84 GB) met 57 GB over voor de KV-cache. Acht ervan bieden ruimte voor DeepSeek-V3 of V4 Pro.
-
80 GB HBM3 op 3.350 GB/s (SXM) of 2.000 GB/s (PCIe), FP8 Tensor Cores. Biedt ruimte voor gpt-oss-120b, of een 32B-model in BF16.
-
80 GB HBM2e op 2.039 GB/s (SXM) of 1.935 GB/s (PCIe). Geen FP8 Tensor Cores: serveer BF16 of 4-bit.
-
48 GB GDDR6 op 864 GB/s, FP8 Tensor Cores, geen NVLink. Biedt ruimte voor 32B in FP8 of 70B in 4-bit.
-
32 GB GDDR7 op 1.792 GB/s, FP8- en FP4-Tensor Cores. Houdt een 12B-model in BF16 (28,8 GB) of een 32B-model in 4-bit (19,5 GB) met ruimte voor een lange context.
-
24 GB GDDR6X op 1.008 GB/s, FP8-Tensor Cores. Houdt een 7–8B-model in BF16.
Openbaarmaking: deze pagina wordt gepubliceerd door GPUwithCrypto. Gegevens van concurrenten komen van hun openbare websites op de hierboven vermelde datum en kunnen sindsdien zijn gewijzigd.
Is één H200 een betere deal dan twee H100's?
Voor een 70B-model in FP8 wel: één H200 houdt het, terwijl twee H100's het moeten opsplitsen en op elke laag data moeten uitwisselen. Volgens de prijscheck van GPUwithCrypto van 29 oktober 2026 was de mediaan voor on-demand H200 bij 13 aanbieders $5.29 per GPU-uur, tegen $4.16 voor een H100 bij 16 providers. De H200 kost 27% meer per uur voor 76% meer VRAM, dus het is 28% goedkoper per GB geheugen.
Bij onze prijzen is de keuze $3,07/uur voor één H200 tegen $4.64/uur voor twee H100's. Volledige vergelijking: H100 vs H200.
Hoe zit het met spot- en marketplace-GPU's?
Die kosten minder en kunnen midden in een job verdwijnen. Het goedkoopste H100-aanbod op de marketplace van Vast.ai was $1.73 per uur op 29 oktober 2026 (openbare prijsfeed van Vast.ai), onder de laagste on-demand prijs die we vonden. Voor een inference-server die moet blijven draaien, betekent een onderbreking downtime. Instances zijn on-demand, niet spot: niemand kan je GPU terugnemen zolang je saldo het dekt, en de instance draait tot je hem stopt. Wanneer je welke gebruikt: wat is een spot-GPU.
Vragen over GPU's voor LLM-inference
Welke GPU heb ik nodig om Llama 70B te draaien?
Eén H200 in FP8 (84 GB nodig, 141 GB beschikbaar), één L40S in 4-bit (42 GB nodig, 48 GB beschikbaar) of één B200 in BF16 (168 GB nodig, 180 GB beschikbaar). Twee H100's houden de FP8-versie ook, met 160 GB samen.
Wat is de beste GPU voor DeepSeek V4?
De H200. De weights van DeepSeek V4 Flash nemen 159,6 GB in beslag, dus het heeft minstens twee H200's nodig, en het SGLang-cookbook documenteert er vier. V4 Pro heeft 864,7 GB nodig en dus acht H200's. Commando's staan in de DeepSeek V4-gids.
Is de RTX 4090 geschikt voor LLM-inference?
Voor 7–8B-modellen wel: 24 GB houdt Llama 3.1 8B in BF16 (19,2 GB met overhead) en het is de instap-GPU van ons aanbod, met 1.008 GB/s bandbreedte. Boven ongeveer 10B parameters in BF16 loopt hij out of memory.
Is de A100 in 2026 nog geschikt voor inference?
Voor BF16- en 4-bit-modellen tot 80 GB wel, en het is de instap-GPU met 80 GB in ons aanbod. Hij heeft geen FP8-Tensor Cores, dus FP8-checkpoints draaien beter op een L40S, H100 of H200. Zie H100 vs A100.
Kan ik deze GPU's met crypto huren?
Ja. GPUwithCrypto neemt BTC, USDT, USDC, ETH, SOL, LTC, XMR van een US$ 1-opwaardering, zonder ID en zonder kaart. Instances worden per minuut gefactureerd tegen het uurtarief terwijl ze draaien, uit de GPU-uren die je voor die GPU hebt gekocht. Een instance stoppen stopt de kosten direct.
Bronnen (14)
- Specificaties NVIDIA H200 — NVIDIA (read 2026-10-29)
- NVIDIA H100-specificaties — NVIDIA (read 2026-10-29)
- NVIDIA A100-specificaties — NVIDIA (read 2026-10-29)
- Specificaties NVIDIA L40S — NVIDIA (read 2026-10-29)
- NVIDIA HGX-platform (B200) — NVIDIA (read 2026-10-29)
- NVIDIA Ada GPU-architectuur whitepaper (RTX 4090) — NVIDIA (read 2026-10-29)
- NVIDIA RTX Blackwell-architectuurwhitepaper (RTX 5090) — NVIDIA (read 2026-10-29)
- Transformer Math 101 — EleutherAI (read 2026-10-29)
- Model card gpt-oss-120b — OpenAI / Hugging Face (read 2026-10-29)
- DeepSeek-V4-cookbook — SGLang (read 2026-10-29)
- Massed Compute-prijzen vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)
- Prijs wijzigingen SaladCloud, november 2026 blog.salad.com/saladcloud-price-changes-november-2026 — Salad (read 2026-10-29)
- Thunder Compute-prijzen thundercompute.com/pricing — Thunder Compute (read 2026-10-29)
- Openbare GPU-prijsfeed van Vast.ai — Vast.ai (read 2026-10-29)