# Come faccio il fine-tuning di Llama su una GPU noleggiata?

> Fine-tuning di Llama su GPU noleggiata con QLoRA o LoRA: comandi TRL, 6 GB per Llama 3.1 8B in QLoRA, e salvataggio dell'adapter. Paghi in criptovalute.

- URL: https://gpuwithcrypto.com/it/guides/fine-tune-llama-on-rented-gpu/
- Ultimo aggiornamento: 2026-10-29
- Editore: GPUwithCrypto (https://gpuwithcrypto.com)

Un adapter LoRA o QLoRA è il modo più economico per insegnare a Llama i tuoi dati. Questa guida sceglie la GPU, esegue il training con Hugging Face TRL e porta l'adapter fuori dalla macchina prima che il disco venga cancellato.

**Risposta rapida — Come faccio il fine-tuning di Llama su una GPU noleggiata?**

Per fare fine-tuning di Llama su una GPU a noleggio, addestra un adapter LoRA o QLoRA con Hugging Face TRL. Llama 3.1 8B richiede circa 6 GB in QLoRA e 19,2 GB in LoRA, quindi una sola RTX 4090 da 24 GB basta; Llama 3.1 70B in QLoRA richiede circa 52,5 GB, una A100 80GB. Copia l'adapter fuori prima di eliminare l'istanza. Al 29 ottobre 2026, **GPUwithCrypto** noleggia la RTX 4090 a $0.28/ora, pagando in criptovalute.

## Quale GPU mi serve per fare fine-tuning di Llama?

Memoria secondo le regole della nostra [guida alla VRAM](https://gpuwithcrypto.com/it/how-much-vram-do-i-need/ "Quanta VRAM serve per eseguire o fare fine-tuning di un LLM?"): QLoRA ≈ 0,75 GB per miliardo di parametri, LoRA = 2 byte per parametro × 1,2, full fine-tuning 16–18 byte per parametro. I nostri prezzi del 29 ottobre 2026.

| Modello | Metodo | VRAM (regola) | GPU | GPUwithCrypto all'ora |
| --- | --- | --- | --- | --- |
| Llama 3.1 8B | QLoRA | 6 GB | 1× RTX 4090 (24 GB) | $0.28/ora |
| Llama 3.1 8B | LoRA (base BF16) | 19.2 GB | 1× RTX 4090 (24 GB) | $0.28/ora |
| Llama 3.1 8B | Full fine-tune | 128–144 GB + attivazioni | 1× B200 (180 GB) | $4.61/ora |
| Llama 3.1 70B | QLoRA | 52.5 GB | 1× A100 80GB o 1× H100 | $0.92/ora o $2.32/ora |
| Llama 3.1 70B | LoRA (base BF16) | 168 GB | 1× B200 o 2× H200 | $4.61/ora o $6.14/ora |

*Prezzi verificati il 29 ottobre 2026.*

Disco: i pesi di Llama 3.1 8B Instruct occupano 16,1 GB, quelli di 70B Instruct 141,1 GB. Lascia spazio per i checkpoint.

## Come eseguo un fine-tune QLoRA di Llama 3.1 8B?

Comandi dalla documentazione di Hugging Face TRL e Hub. Sostituisci l'id del modello con `meta-llama/Llama-3.1-70B-Instruct` su una GPU da 80 GB per addestrare il modello 70B allo stesso modo. Nuovo alle GPU a noleggio? [Come noleggiare una GPU per l'AI](https://gpuwithcrypto.com/it/guides/rent-a-gpu-for-ai/ "Come noleggio una GPU per l'AI, passo dopo passo?") copre l'account, SSH e un primo job.

1. **Noleggia la GPU** — Avvia un'istanza 1× RTX 4090 per il modello 8B, o una 1× A100 80GB per il 70B. Ogni istanza ti dà GPU intere, mai una slice condivisa nel tempo o una partizione MIG. Ottieni accesso SSH root a Ubuntu con driver NVIDIA, CUDA e PyTorch installati, oppure parti dalla tua immagine Docker.
2. **Ottieni l'accesso a Llama** — I repository meta-llama su Hugging Face sono ad accesso limitato: richiedi l'accesso sulla pagina del modello e accetta la licenza di Meta, poi esegui hf auth login sull'istanza con un token di lettura.
3. **Installa TRL, PEFT e bitsandbytes** — pip install "trl[peft]" bitsandbytes. bitsandbytes fornisce il caricamento a 4 bit di cui QLoRA ha bisogno.
4. **Scegli un dataset** — Usa un id di dataset di Hugging Face o un tuo file di conversazioni. L'esempio usa trl-lib/Capybara, il dataset negli esempi di TRL stesso.
5. **Addestra l'adapter** — Esegui il comando trl sft qui sotto dentro tmux. --load_in_4bit carica la base a 4 bit, --use_peft aggiunge l'adapter LoRA e i checkpoint finiscono in --output_dir.
6. **Testa l'adapter** — Carica il modello base, collega l'adapter con PEFT e confronta le risposte con il modello base sui tuoi prompt.
7. **Copia l'adapter fuori, poi elimina** — Ogni istanza ha un disco NVMe locale, dimensionato per la sua GPU e mostrato prima dell'avvio. Il disco viene cancellato quando elimini l'istanza, quindi copia prima i tuoi checkpoint. Copia la cartella di output sul tuo computer o caricala su un repository Hugging Face privato, poi elimina l'istanza.

*train-qlora.sh*

```bash
pip install "trl[peft]" bitsandbytes
hf auth login

trl sft \
  --model_name_or_path meta-llama/Llama-3.1-8B-Instruct \
  --dataset_name trl-lib/Capybara \
  --load_in_4bit \
  --use_peft \
  --lora_r 32 \
  --lora_alpha 16 \
  --lora_target_modules q_proj k_proj v_proj o_proj gate_proj up_proj down_proj \
  --learning_rate 2.0e-4 \
  --num_train_epochs 1 \
  --per_device_train_batch_size 1 \
  --gradient_accumulation_steps 16 \
  --gradient_checkpointing \
  --save_strategy steps \
  --save_steps 200 \
  --output_dir llama-3.1-8b-qlora

```

## Cosa fanno i flag principali del training?

- `--lora_r 32 --lora_alpha 16`: rank e scaling dell'adapter, i valori negli esempi PEFT di TRL. Il rank 32 su tutti e sette i layer lineari di Llama 3.1 8B addestra circa 84 milioni di parametri, circa l'1% del modello.
- `--learning_rate 2.0e-4`: la documentazione di TRL consiglia circa 10 volte il learning rate del full fine-tuning (2.0e-5) per LoRA.
- `--per_device_train_batch_size 1 --gradient_accumulation_steps 16`: un batch effettivo di 16 con la memoria di un batch di 1.
- `--gradient_checkpointing`: ricalcola le attivazioni invece di memorizzarle, scambiando tempo con memoria.
- `--save_strategy steps --save_steps 200`: scrive un checkpoint ogni 200 step, così un crash costa al massimo 200 step.

*save-adapter.sh*

```bash
# from your computer: copy the adapter folder before you delete the instance
rsync -avP -e "ssh -p SSH_PORT" root@HOST:/root/llama-3.1-8b-qlora/ ./llama-3.1-8b-qlora/

# or, on the instance: create a private repo on huggingface.co first, then upload
hf upload your-name/llama-3.1-8b-qlora ./llama-3.1-8b-qlora .

# later, serve the base model with the adapter in vLLM
vllm serve meta-llama/Llama-3.1-8B-Instruct \
  --enable-lora --max-lora-rank 32 \
  --lora-modules my-adapter=./llama-3.1-8b-qlora

```

## Quanto costa fare fine-tuning di Llama su una GPU a noleggio?

Costo = GPU × ore effettive × prezzo per GPU-ora. **Le ore qui sotto sono ipotesi a scopo illustrativo, non misurazioni**: il tempo di esecuzione dipende dai token del tuo dataset, dalla lunghezza delle sequenze e dalla dimensione del batch. Abbiamo scelto ore che corrispondono ai nostri blocchi da 10 e 24 GPU-ora. Le GPU-ora sono vendute in blocchi da 10, 24, 168 o 720 ore per un modello di GPU, alla stessa tariffa oraria; le istanze di quella GPU ne attingono al minuto, e le ore non utilizzate non scadono mai. Ogni GPU e ogni blocco sono elencati su [GPU pricing](https://gpuwithcrypto.com/it/pricing/ "Quanto costa all'ora una GPU cloud su GPUwithCrypto?").

Una GPU piccola è il risparmio più grande. Secondo il controllo prezzi di GPUwithCrypto del 29 ottobre 2026, la RTX 4090 self-serve on-demand più economica costava $0.33 all'ora (Salad) e la H100 più economica $2.73 (Massed Compute): 8,3 volte tanto, per un job QLoRA da 8B che sta comunque in 24 GB. La [pagina del prezzo della RTX 4090](https://gpuwithcrypto.com/it/gpu-prices/rtx-4090/ "Quanto costa noleggiare una RTX 4090 all'ora?") elenca i provider che abbiamo verificato.

### Stima del costo di esecuzione con ore ipotizzate

| Job | Configurazione | Ore ipotizzate (non misurate) | GPU-ora | Costo GPUwithCrypto |
| --- | --- | --- | --- | --- |
| Llama 3.1 8B, QLoRA | 1× RTX 4090 | 10 | 10 | 2,80 USD |
| Llama 3.1 8B, LoRA | 1× RTX 4090 | 24 | 24 | 6,72 USD |
| Llama 3.1 70B, QLoRA | 1× A100 80GB | 24 | 24 | 22,08 USD |
| Llama 3.1 70B, LoRA | 2× H200 | 12 | 24 | 73,68 USD |

*Prezzi verificati il 29 ottobre 2026.*

## Come faccio a non perdere il lavoro su una GPU noleggiata?

Salva spesso, copia i risultati fuori presto e tieni d'occhio il saldo. Le istanze sono on-demand, non spot: nessuno può riprendersi la tua GPU finché il tuo saldo la copre, e l'istanza resta attiva finché non la fermi. Quando le GPU-ora di una GPU si esauriscono, le sue istanze si fermano e i loro dischi vengono conservati; un nuovo blocco di ore ti permette di avviarle di nuovo. Se un'esecuzione si interrompe, il Trainer di Hugging Face riprende dall'ultimo checkpoint nella cartella di output quando chiami `trainer.train(resume_from_checkpoint=True)` da Python. Unsloth e Axolotl sono altri due tool LoRA noti; questa guida usa TRL perché i suoi flag da riga di comando sono documentati nelle pagine ufficiali di Hugging Face.

## Domande sul fine-tuning di Llama

### Quanta VRAM serve per fare fine-tuning di Llama 3.1 8B?

Circa 6 GB con QLoRA e 19.2 GB con LoRA su una base BF16, quindi una RTX 4090 da 24 GB li esegue entrambi. Il fine-tuning completo richiede da 128 a 144 GB prima delle attivazioni, una B200 da 180 GB.

### Posso fare fine-tuning di Llama 70B su una sola GPU?

Sì, con QLoRA su una A100 o H100 da 80 GB: la stima è 52.5 GB. LoRA su una base BF16 richiede circa 168 GB, una B200 o due H200. Trovi di più in [la miglior GPU per il fine-tuning di Llama 70B](https://gpuwithcrypto.com/it/best-gpu-for/fine-tuning-llama-70b/ "Qual è la miglior GPU per il fine-tuning di Llama 70B (LoRA, QLoRA, full)?").

### Devo usare LoRA o QLoRA?

QLoRA quando la memoria è il limite: carica il modello di base in 4-bit e divide all'incirca la memoria per tre rispetto a LoRA. LoRA quando la GPU ha spazio: la base resta in BF16. Confronta i due adapter sul tuo set di valutazione.

### Quanto tempo richiede il fine-tuning di Llama?

Dipende dal numero di token di training, dalla lunghezza delle sequenze e dalla batch size, e non abbiamo misurato un'esecuzione, quindi non diamo tempi. Un blocco da 10 ore basta per misurare i tuoi step all'ora prima di un'esecuzione lunga.

### Posso pagare la GPU in criptovalute?

Sì. GPUwithCrypto accetta BTC, USDT, USDC, ETH, SOL, LTC, XMR da una ricarica 1 USD, senza documento e senza carta. Le istanze sono fatturate al minuto alla tariffa oraria finché sono in esecuzione, attingendo alle GPU-ora che hai acquistato per quella GPU. Fermare un'istanza interrompe subito l'addebito.

## Fonti

1. [Interfacce a riga di comando di TRL](https://huggingface.co/docs/trl/clis) — Hugging Face (read 2026-10-29)
2. [Integrazione TRL PEFT (LoRA, QLoRA, salvataggio degli adapter)](https://huggingface.co/docs/trl/peft_integration) — Hugging Face (read 2026-10-29)
3. [Guida alla CLI di Hugging Face (hf auth login, hf upload)](https://huggingface.co/docs/huggingface_hub/guides/cli) — Hugging Face (read 2026-10-29)
4. [Trainer e TrainingArguments](https://huggingface.co/docs/transformers/main_classes/trainer) — Hugging Face (read 2026-10-29)
5. [Model card di Llama 3.1 8B](https://huggingface.co/meta-llama/Llama-3.1-8B) — Meta / Hugging Face (read 2026-10-29)
6. [Scheda del modello Llama 3.1 70B](https://huggingface.co/meta-llama/Llama-3.1-70B) — Meta / Hugging Face (read 2026-10-29)
7. [The Llama 3 Herd of Models (Table 3)](https://arxiv.org/abs/2407.21783) — arXiv (read 2026-10-29)
8. [QLoRA: Efficient Finetuning of Quantized LLMs](https://arxiv.org/abs/2305.14314) — arXiv (read 2026-10-29)
9. [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685) — arXiv (read 2026-10-29)
10. [Ricette vLLM (flag per servire LoRA)](https://recipes.vllm.ai/) — vLLM project (read 2026-10-29)
11. [Variazioni di prezzo di SaladCloud, novembre 2026](https://blog.salad.com/saladcloud-price-changes-november-2026) — Salad (read 2026-10-29)
12. [Prezzi di Massed Compute](https://vm.massedcompute.com/pricing) — Massed Compute (read 2026-10-29)

---

GPUwithCrypto: GPUwithCrypto noleggia GPU cloud (NVIDIA H100, H200, B200, A100, L40S, RTX 4090 e RTX 5090) al minuto, pagando in criptovalute senza KYC; ogni GPU costa almeno il 15% in meno rispetto a un riferimento on-demand nominato, consultato il 29 ottobre 2026.