# Hoe fine-tune ik Llama op een gehuurde GPU?

> Hoe fine-tune je Llama op een gehuurde GPU met QLoRA of LoRA: TRL-commando's, 6 GB voor Llama 3.1 8B en de adapter opslaan. Betaald met crypto.

- URL: https://gpuwithcrypto.com/nl/guides/fine-tune-llama-on-rented-gpu/
- Laatst bijgewerkt: 2026-10-29
- Uitgever: GPUwithCrypto (https://gpuwithcrypto.com)

Een LoRA- of QLoRA-adapter is de goedkoopste manier om Llama je data te leren. Deze gids kiest de GPU, voert de training uit met Hugging Face TRL en haalt de adapter van de machine voordat de schijf wordt gewist.

**Kort antwoord — Hoe fine-tune ik Llama op een gehuurde GPU?**

Om Llama op een gehuurde GPU te fine-tunen, train je een LoRA- of QLoRA-adapter met Hugging Face TRL. Llama 3.1 8B heeft ongeveer 6 GB nodig in QLoRA en 19,2 GB in LoRA, dus één RTX 4090 van 24 GB is genoeg; Llama 3.1 70B in QLoRA heeft ongeveer 52,5 GB nodig, één A100 80GB. Kopieer de adapter eraf voordat je de instance verwijdert. Op 29 oktober 2026 verhuurt **GPUwithCrypto** de RTX 4090 voor $0,28/uur, betaald met crypto.

## Welke GPU heb ik nodig om Llama te fine-tunen?

Geheugen volgens de regels in onze [VRAM-gids](https://gpuwithcrypto.com/nl/how-much-vram-do-i-need/ "Hoeveel VRAM heb ik nodig om een LLM te draaien of fine-tunen?"): QLoRA ≈ 0,75 GB per miljard parameters, LoRA = 2 bytes per parameter × 1,2, volledig fine-tunen 16–18 bytes per parameter. Onze prijzen van 29 oktober 2026.

| Model | Methode | VRAM (regel) | GPU | GPUwithCrypto per uur |
| --- | --- | --- | --- | --- |
| Llama 3.1 8B | QLoRA | 6 GB | 1× RTX 4090 (24 GB) | $0,28/uur |
| Llama 3.1 8B | LoRA (BF16 basis) | 19.2 GB | 1× RTX 4090 (24 GB) | $0,28/uur |
| Llama 3.1 8B | Volledig fine-tunen | 128–144 GB + activaties | 1× B200 (180 GB) | $4,61/uur |
| Llama 3.1 70B | QLoRA | 52.5 GB | 1× A100 80GB of 1× H100 | $0,92/uur of $2.32/uur |
| Llama 3.1 70B | LoRA (BF16 basis) | 168 GB | 1× B200 of 2× H200 | $4,61/uur of $6.14/uur |

*Prijzen gecontroleerd op 29 oktober 2026.*

Schijf: de gewichten van Llama 3.1 8B Instruct nemen 16,1 GB in beslag, de gewichten van 70B Instruct 141,1 GB. Houd ruimte vrij voor checkpoints.

## Hoe voer ik een QLoRA-fine-tune van Llama 3.1 8B uit?

Commando's uit de Hugging Face TRL- en Hub-documentatie. Vervang de model-id door `meta-llama/Llama-3.1-70B-Instruct` op een GPU van 80 GB om het 70B-model op dezelfde manier te trainen. Nieuw met gehuurde GPU's? [Hoe je een GPU huurt voor AI](https://gpuwithcrypto.com/nl/guides/rent-a-gpu-for-ai/ "Hoe huur ik stap voor stap een GPU voor AI?") behandelt het account, SSH en een eerste job.

1. **Huur de GPU** — Start een 1× RTX 4090-instance voor het 8B-model, of een 1× A100 80GB voor 70B. Elke instance geeft je volledige GPU's, nooit een tijdsgedeelde slice of een MIG-partitie. Je krijgt root SSH-toegang tot Ubuntu met de NVIDIA driver, CUDA en PyTorch geïnstalleerd, of je start vanaf je eigen Docker-image.
2. **Krijg toegang tot Llama** — De meta-llama-repositories op Hugging Face zijn afgeschermd: vraag toegang aan op de modelpagina en accepteer Meta's licentie, en voer daarna hf auth login uit op de instance met een read-token.
3. **Installeer TRL, PEFT en bitsandbytes** — pip install "trl[peft]" bitsandbytes. bitsandbytes levert het 4-bit laden dat QLoRA nodig heeft.
4. **Kies een dataset** — Gebruik een Hugging Face-dataset-id of je eigen bestand met gesprekken. Het voorbeeld gebruikt trl-lib/Capybara, de dataset uit TRL's eigen voorbeelden.
5. **Train de adapter** — Voer het trl sft-commando hieronder uit binnen tmux. --load_in_4bit laadt de basis in 4-bit, --use_peft voegt de LoRA-adapter toe, en checkpoints komen terecht in --output_dir.
6. **Test de adapter** — Laad het basismodel, koppel de adapter met PEFT en vergelijk de antwoorden met het basismodel op je eigen prompts.
7. **Kopieer de adapter eraf en verwijder dan** — Elke instance heeft een lokale NVMe-schijf, afgestemd op de GPU en getoond voordat je start. De schijf wordt gewist wanneer je de instance verwijdert, dus kopieer je checkpoints eerst weg. Kopieer de uitvoermap naar je computer of push hem naar een private Hugging Face-repository en verwijder dan de instance.

*train-qlora.sh*

```bash
pip install "trl[peft]" bitsandbytes
hf auth login

trl sft \
  --model_name_or_path meta-llama/Llama-3.1-8B-Instruct \
  --dataset_name trl-lib/Capybara \
  --load_in_4bit \
  --use_peft \
  --lora_r 32 \
  --lora_alpha 16 \
  --lora_target_modules q_proj k_proj v_proj o_proj gate_proj up_proj down_proj \
  --learning_rate 2.0e-4 \
  --num_train_epochs 1 \
  --per_device_train_batch_size 1 \
  --gradient_accumulation_steps 16 \
  --gradient_checkpointing \
  --save_strategy steps \
  --save_steps 200 \
  --output_dir llama-3.1-8b-qlora

```

## Wat doen de belangrijkste trainingsflags?

- `--lora_r 32 --lora_alpha 16`: de rank en scaling van de adapter, de waarden in TRL's PEFT-voorbeelden. Rank 32 op alle zeven lineaire lagen van Llama 3.1 8B traint ongeveer 84 miljoen parameters, ongeveer 1% van het model.
- `--learning_rate 2.0e-4`: TRL's documentatie raadt ongeveer 10 keer de volledige fine-tuning-rate (2.0e-5) aan voor LoRA.
- `--per_device_train_batch_size 1 --gradient_accumulation_steps 16`: een effectieve batch van 16 met het geheugen van een batch van 1.
- `--gradient_checkpointing`: herberekent activaties in plaats van ze op te slaan, en ruilt tijd voor geheugen.
- `--save_strategy steps --save_steps 200`: schrijft elke 200 stappen een checkpoint, zodat een crash hooguit 200 stappen kost.

*save-adapter.sh*

```bash
# from your computer: copy the adapter folder before you delete the instance
rsync -avP -e "ssh -p SSH_PORT" root@HOST:/root/llama-3.1-8b-qlora/ ./llama-3.1-8b-qlora/

# or, on the instance: create a private repo on huggingface.co first, then upload
hf upload your-name/llama-3.1-8b-qlora ./llama-3.1-8b-qlora .

# later, serve the base model with the adapter in vLLM
vllm serve meta-llama/Llama-3.1-8B-Instruct \
  --enable-lora --max-lora-rank 32 \
  --lora-modules my-adapter=./llama-3.1-8b-qlora

```

## Wat kost het fine-tunen van Llama op een gehuurde GPU?

Kosten = GPU's × klokuren × prijs per GPU-uur. **De uren hieronder zijn aannames ter illustratie, geen metingen**: de looptijd hangt af van de tokens van je dataset, de sequentielengte en de batchgrootte. We kozen uren die passen bij onze blokken van 10 en 24 GPU-uren. GPU-uren worden verkocht in blokken van 10, 24, 168 of 720 uur voor één GPU-model, tegen hetzelfde uurtarief; instances van die GPU gebruiken ze per minuut, en ongebruikte uren verlopen nooit. Elke GPU en elk blok staat op [GPU-prijzen](https://gpuwithcrypto.com/nl/pricing/ "Hoeveel kost een cloud-GPU per uur bij GPUwithCrypto?").

Een kleine GPU is de grootste besparing. Volgens de prijscheck van GPUwithCrypto van 29 oktober 2026 kostte de goedkoopste self-serve on-demand RTX 4090 $0.33 per uur (Salad) en de goedkoopste H100 $2.73 (Massed Compute): 8,3 keer meer, voor een 8B-QLoRA-job die hoe dan ook in 24 GB past. De [RTX 4090-prijspagina](https://gpuwithcrypto.com/nl/gpu-prices/rtx-4090/ "Wat kost het om een RTX 4090 per uur te huren?") vermeldt de providers die we hebben gecontroleerd.

### Schatting van de runkosten bij aangenomen uren

| Job | Configuratie | Aangenomen uren (niet gemeten) | GPU-uren | Kosten GPUwithCrypto |
| --- | --- | --- | --- | --- |
| Llama 3.1 8B, QLoRA | 1× RTX 4090 | 10 | 10 | US$ 2,80 |
| Llama 3.1 8B, LoRA | 1× RTX 4090 | 24 | 24 | US$ 6,72 |
| Llama 3.1 70B, QLoRA | 1× A100 80GB | 24 | 24 | US$ 22,08 |
| Llama 3.1 70B, LoRA | 2× H200 | 12 | 24 | US$ 73,68 |

*Prijzen gecontroleerd op 29 oktober 2026.*

## Hoe voorkom ik dat ik werk verlies op een gehuurde GPU?

Sla vaak op, kopieer je resultaten vroeg weg en houd je saldo in het oog. Instances zijn on-demand, niet spot: niemand kan je GPU terugnemen zolang je saldo het dekt, en de instance draait tot je hem stopt. Wanneer de GPU-uren van een GPU op zijn, stoppen de instances en blijven de schijven bewaard; met een nieuw blok uren kun je ze weer starten. Als een run stopt, hervat de Trainer van Hugging Face vanaf de laatste checkpoint in de outputmap wanneer je `trainer.train(resume_from_checkpoint=True)` vanuit Python aanroept. Unsloth en Axolotl zijn twee andere bekende LoRA-tools; deze gids gebruikt TRL omdat de command-line flags ervan gedocumenteerd staan op de eigen pagina's van Hugging Face.

## Vragen over Llama fine-tuning

### Hoeveel VRAM heb ik nodig om Llama 3.1 8B te fine-tunen?

Ongeveer 6 GB met QLoRA en 19,2 GB met LoRA op een BF16-basis, dus een RTX 4090 van 24 GB draait beide. Volledige fine-tuning vereist 128 tot 144 GB vóór activaties, één B200 van 180 GB.

### Kan ik Llama 70B op één GPU fine-tunen?

Ja, met QLoRA op een A100 of H100 van 80 GB: de schatting is 52,5 GB. LoRA op een BF16-basis vereist ongeveer 168 GB, één B200 of twee H200's. Meer in [de beste GPU om Llama 70B te fine-tunen](https://gpuwithcrypto.com/nl/best-gpu-for/fine-tuning-llama-70b/ "Wat is de beste GPU om Llama 70B te fine-tunen (LoRA, QLoRA, full)?").

### Moet ik LoRA of QLoRA gebruiken?

QLoRA wanneer geheugen de beperking is: het laadt het basismodel in 4-bit en verdeelt het geheugengebruik ruwweg door drie ten opzichte van LoRA. LoRA wanneer de GPU ruimte heeft: de basis blijft in BF16. Vergelijk beide adapters op je eigen evaluatieset.

### Hoe lang duurt het fine-tunen van Llama?

Het hangt af van het aantal trainingstokens, de sequentielengte en de batch size, en we hebben geen run gemeten, dus we geven geen timing. Een blok van 10 uur is genoeg om je steps per uur te meten voordat je een lange run start.

### Kan ik de GPU met crypto betalen?

Ja. GPUwithCrypto neemt BTC, USDT, USDC, ETH, SOL, LTC, XMR van een US$ 1-opwaardering, zonder ID en zonder kaart. Instances worden per minuut gefactureerd tegen het uurtarief terwijl ze draaien, uit de GPU-uren die je voor die GPU hebt gekocht. Een instance stoppen stopt de kosten direct.

## Bronnen

1. [TRL command line interfaces](https://huggingface.co/docs/trl/clis) — Hugging Face (read 2026-10-29)
2. [TRL PEFT-integratie (LoRA, QLoRA, adapters opslaan)](https://huggingface.co/docs/trl/peft_integration) — Hugging Face (read 2026-10-29)
3. [Hugging Face CLI-gids (hf auth login, hf upload)](https://huggingface.co/docs/huggingface_hub/guides/cli) — Hugging Face (read 2026-10-29)
4. [Trainer en TrainingArguments](https://huggingface.co/docs/transformers/main_classes/trainer) — Hugging Face (read 2026-10-29)
5. [Model card van Llama 3.1 8B](https://huggingface.co/meta-llama/Llama-3.1-8B) — Meta / Hugging Face (read 2026-10-29)
6. [Llama 3.1 70B model card](https://huggingface.co/meta-llama/Llama-3.1-70B) — Meta / Hugging Face (read 2026-10-29)
7. [The Llama 3 Herd of Models (Table 3)](https://arxiv.org/abs/2407.21783) — arXiv (read 2026-10-29)
8. [QLoRA: Efficient Finetuning of Quantized LLMs](https://arxiv.org/abs/2305.14314) — arXiv (read 2026-10-29)
9. [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685) — arXiv (read 2026-10-29)
10. [vLLM-recepten (LoRA-serving flags)](https://recipes.vllm.ai/) — vLLM project (read 2026-10-29)
11. [Prijs wijzigingen SaladCloud, november 2026](https://blog.salad.com/saladcloud-price-changes-november-2026) — Salad (read 2026-10-29)
12. [Massed Compute-prijzen](https://vm.massedcompute.com/pricing) — Massed Compute (read 2026-10-29)

---

GPUwithCrypto: GPUwithCrypto verhuurt cloud-GPU's (NVIDIA H100, H200, B200, A100, L40S, RTX 4090 en RTX 5090) per minuut, betalen met crypto en zonder KYC; elke GPU is minstens 15% goedkoper dan een met naam genoemde on-demand referentieprijs, gelezen op 29 oktober 2026.