Kort antwoord
Wat is de beste GPU om Llama 70B te fine-tunen?
De beste GPU om Llama 70B te fine-tunen hangt af van de methode. QLoRA heeft ongeveer 52,5 GB nodig, dus één 80 GB A100 of H100. LoRA op een BF16-basis heeft ongeveer 168 GB nodig, dus één 180 GB B200 of twee H200's. Full fine-tuning heeft 1.120 tot 1.260 GB nodig vóór activations, dus acht B200's. Per 29 oktober 2026 huurt GPUwithCrypto een A100 80GB voor $0,92/uur, betaald met crypto.
Welke GPU voor welke methode?
| QLoRA (4-bit basis) | ≈ 52,5 GB → 1× A100 80GB ($0,92/uur) of 1× H100 ($2.32/uur) |
|---|---|
| LoRA (BF16 basis) | 140 GB minimum, ≈ 168 GB om mee te plannen → 1× B200 ($4,61/uur) of 2× H200 ($6.14/uur) |
| Full fine-tune, 8-bit Adam | ≈ 840 GB → 8× H200 ($24.56/uur) |
| Full fine-tune, AdamW | 1.120–1.260 GB → 8× B200 ($36.88/uur) |
| Te klein | Eén 48 GB L40S haalt de QLoRA-schatting van 52,5 GB niet; de QLoRA-auteurs kregen een 65B-model wel op één 48 GB GPU |
Hoeveel geheugen heeft elke methode nodig voor een 70B-model?
- QLoRA: het basismodel wordt in 4-bit geladen en bevroren; alleen kleine adapters worden getraind. In de QLoRA-paper werd een 65B-model op één 48 GB GPU gefine-tuned: 48 ÷ 65 = 0,74 GB per miljard parameters, afgerond op 0,75. Voor 70B: 70 × 0,75 = 52,5 GB.
- LoRA: de basis blijft in BF16 en bevroren: 70 × 2 bytes = 140 GB. Adapters en hun optimizer voegen ongeveer 1% toe; met onze planningsmarge van 20%: 140 × 1,2 = 168 GB.
- Full fine-tuning, mixed precision met AdamW: EleutherAI rekent met 2 + 12 + 2 = 16 bytes per parameter (gewichten, optimizer met FP32-kopie, gradiënten): 70 × 16 = 1.120 GB. Hugging Face rekent met 6 + 8 + 4 = 18 bytes: 1.260 GB. Activations komen daar bovenop.
- Full fine-tuning met 8-bit Adam: volgens Hugging Face nemen 8-bit optimizer-states 2 bytes in plaats van 8, dus 6 + 2 + 4 = 12 bytes: 70 × 12 = 840 GB.
Dit zijn planningsregels uit de genoemde bronnen, geen metingen. Sequencelengte en batchgrootte veranderen het activatiegeheugen; gradient checkpointing verlaagt het. Dezelfde regels voor andere modelgroottes: hoeveel VRAM heb ik nodig?
Hoeveel GPU's heeft elke methode nodig?
✓ = het gecombineerde VRAM van de configuratie biedt ruimte voor de schatting van de methode. Rijen met meerdere GPU's gaan ervan uit dat het model over de GPU's wordt verdeeld (FSDP of DeepSpeed ZeRO-3). Onze prijzen per uur voor de hele configuratie, 29 oktober 2026.
| Configuratie | Totaal VRAM | QLoRA (52,5 GB) | LoRA (168 GB) | Full, 8-bit Adam (840 GB) | Full, AdamW (1.260 GB) | GPUwithCrypto per uur |
|---|---|---|---|---|---|---|
| 1× L40S | 48 GB | ✗ | ✗ | ✗ | ✗ | $0,82/uur |
| 1× A100 80GB | 80 GB | ✓ | ✗ | ✗ | ✗ | $0,92/uur |
| 1× H100 | 80 GB | ✓ | ✗ | ✗ | ✗ | $2.32/uur |
| 1× H200 | 141 GB | ✓ | ✗ | ✗ | ✗ | $3,07/uur |
| 1× B200 | 180 GB | ✓ | ✓ | ✗ | ✗ | $4,61/uur |
| 2× H200 | 282 GB | ✓ | ✓ | ✗ | ✗ | $6.14/uur |
| 4× A100 80GB | 320 GB | ✓ | ✓ | ✗ | ✗ | $3.68/uur |
| 8× H100 | 640 GB | ✓ | ✓ | ✗ | ✗ | $18.56/uur |
| 8× H200 | 1,128 GB | ✓ | ✓ | ✓ | ✗ | $24.56/uur |
| 8× B200 | 1,440 GB | ✓ | ✓ | ✓ | ✓ | $36.88/uur |
Prijzen gecontroleerd op
8× H200 past op papier binnen de schatting van 16 bytes (1.120 GB), maar laat 8 GB over voor activaties, dus is het gemarkeerd met ✗ voor AdamW. 8× B200 laat 180 GB over na de schatting van 18 bytes. Instances hebben 1 tot 8 GPU's, afhankelijk van de host. Voordat je start toont het dashboard het land, het aantal GPU's, de form factor (SXM of PCIe) en de interconnect van elke host.
Wat kost een fine-tuning-run van Llama 70B?
Kosten = GPU's × klokuren × prijs per GPU-uur. De uren hieronder zijn aannames ter illustratie, geen metingen: de looptijd hangt af van het aantal trainingstokens, de sequentielengte, de batchgrootte en de software. Meet je eigen stappen per uur op een korte run voordat je een lange run inschat. De aangenomen uren komen overeen met onze blokken van 10, 24 en 168 GPU-uren. GPU-uren worden verkocht in blokken van 10, 24, 168 of 720 uur voor één GPU-model, tegen hetzelfde uurtarief; instances van die GPU gebruiken ze per minuut, en ongebruikte uren verlopen nooit. Elk blok en elke GPU staat op GPU-prijzen.
Schatting van de runkosten bij aangenomen uren
| Methode | Configuratie | Aangenomen uren (niet gemeten) | GPU-uren | Kosten GPUwithCrypto |
|---|---|---|---|---|
| QLoRA | 1× A100 80GB | 10 | 10 | US$ 9,20 |
| QLoRA | 1× H100 | 10 | 10 | US$ 23,20 |
| LoRA | 1× B200 | 24 | 24 | US$ 110,64 |
| LoRA | 2× H200 | 12 | 24 | US$ 73,68 |
| Volledig, 8-bit Adam | 8× H200 | 21 | 168 | US$ 515,76 |
| Volledig, AdamW | 8× B200 | 21 | 168 | US$ 774,48 |
Prijzen gecontroleerd op
Hoeveel duurder is volledige fine-tuning dan QLoRA?
Ongeveer 40 keer meer per uur hardware. Volgens de prijscheck van GPUwithCrypto van 29 oktober 2026 was de laagste self-serve on-demand prijs voor een 8× B200-instance $43,46 per uur (Massed Compute, $5,4325 per GPU). Eén A100 80GB kostte $1,09 per uur bij Thunder Compute. De verhouding is hetzelfde bij onze prijzen: $36.88/uur tegen $0,92/uur.
Dat verschil is de reden dat de meeste 70B-projecten beginnen met QLoRA of LoRA. De LoRA-paper meldt resultaten op het niveau van volledige fine-tuning op de taken die het testte, met 10.000 keer minder trainbare parameters.
Is de H100 of de A100 beter voor QLoRA op 70B?
Beide passen binnen de schatting van 52,5 GB in 80 GB. De H100 heeft 3,2 keer de piek-BF16-Tensor-doorvoer van de A100 (989,5 tegen 312 TFLOPS dense) en 3.350 GB/s bandbreedte (SXM) tegen 2.039 GB/s. Dit zijn NVIDIA's piekcijfers; de werkelijke trainingssnelheid hangt af van de software. De A100 kost $0,92/uur en de H100 $2.32/uur bij onze prijzen. Kies de A100 als het budget vastligt, de H100 als de deadline vastligt. Meer: H100 vs A100.
Welke software draait elke methode?
Hugging Face TRL draait QLoRA en LoRA met één commando: --load_in_4bit --use_peft voor QLoRA, --use_peft alleen voor LoRA. Voor multi-GPU LoRA en volledige fine-tuning levert TRL kant-en-klare Accelerate-profielen mee zoals fsdp2 en zero3 (DeepSpeed ZeRO-3), doorgegeven met --accelerate_config. De Llama 3.1-repositories op Hugging Face zijn afgeschermd: accepteer eerst Meta's licentie op de modelpagina. Stap-voor-stap commando's: fine-tune Llama op een gehuurde GPU.
Vragen over fine-tuning van Llama 70B
Kan ik Llama 70B op één GPU fine-tunen?
Ja, met QLoRA op een GPU van 80 GB: de schatting is 52,5 GB. LoRA op een BF16-basis past ook op één GPU, maar alleen op een B200 van 180 GB. Volledige fine-tuning vereist acht B200's of acht H200's met een 8-bit optimizer.
Kan ik Llama 70B fine-tunen op een RTX 4090?
Nee. Zelfs in 4-bit nemen de 70B-gewichten alleen al 35 GB in beslag, meer dan de 24 GB van de RTX 4090. De kleinste GPU die we verhuren waarop een QLoRA-run past, is een A100 van 80 GB.
Hoeveel VRAM heb ik nodig om Llama 70B met LoRA te fine-tunen?
Ongeveer 140 GB voor de bevroren BF16-gewichten, en ongeveer 168 GB met 20% marge voor adapters en activaties. Eén B200 (180 GB), twee H200's (282 GB) of vier GPU's van 80 GB passen het.
Hoe lang duurt het fine-tunen van Llama 70B?
Dat hangt af van het aantal tokens in je dataset, de sequentielengte en de batchgrootte, en we hebben geen run gemeten, dus publiceren we geen timing. Begin met een blok van 10 uur, meet de stappen per uur op je data en bepaal daarna de omvang van de volledige run.
Kan ik de GPU's met crypto betalen?
Ja. GPUwithCrypto neemt BTC, USDT, USDC, ETH, SOL, LTC, XMR van een US$ 1-opwaardering, zonder ID en zonder kaart. Ongebruikte GPU-uren verlopen nooit.
Bronnen (12)
- QLoRA: Efficient Finetuning of Quantized LLMs — arXiv (read 2026-10-29)
- Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA — Hugging Face (read 2026-10-29)
- LoRA: Low-Rank Adaptation of Large Language Models — arXiv (read 2026-10-29)
- Transformer Math 101 — EleutherAI (read 2026-10-29)
- Model training anatomy (GPU memory) — Hugging Face (read 2026-10-29)
- Llama 3.1 70B model card — Meta / Hugging Face (read 2026-10-29)
- TRL command line interfaces — Hugging Face (read 2026-10-29)
- TRL PEFT-integratie — Hugging Face (read 2026-10-29)
- NVIDIA A100-specificaties — NVIDIA (read 2026-10-29)
- NVIDIA H100-specificaties — NVIDIA (read 2026-10-29)
- Massed Compute-prijzen vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)
- Thunder Compute-prijzen thundercompute.com/pricing — Thunder Compute (read 2026-10-29)