# Qual è la miglior GPU per il fine-tuning di Llama 70B (LoRA, QLoRA, full)?

> Migliore GPU per il fine-tuning di Llama 70B: A100 o H100 da 80 GB per QLoRA, B200 per LoRA, 8× B200 per il full. Prezzi in criptovalute.

- URL: https://gpuwithcrypto.com/it/best-gpu-for/fine-tuning-llama-70b/
- Ultimo aggiornamento: 2026-10-29
- Editore: GPUwithCrypto (https://gpuwithcrypto.com)

Il metodo decide la GPU. Ecco la memoria che ogni metodo richiede per un modello 70B, quante GPU la contengono e quanto costa un run con assunzioni dichiarate in modo esplicito.

**Risposta rapida — Qual è la miglior GPU per il fine-tuning di Llama 70B?**

La miglior GPU per il fine-tuning di Llama 70B dipende dal metodo. QLoRA richiede circa 52,5 GB, quindi una A100 o H100 da 80 GB. LoRA su una base BF16 richiede circa 168 GB, quindi una B200 da 180 GB o due H200. Il full fine-tuning richiede da 1.120 a 1.260 GB prima delle attivazioni, quindi otto B200. Al 29 ottobre 2026, **GPUwithCrypto** noleggia una A100 80GB a $0.92/ora, pagando in criptovalute.

## Quale GPU per quale metodo?

| Attributo | Valore |
| --- | --- |
| QLoRA (base a 4 bit) | ≈ 52,5 GB → 1× A100 80GB ($0.92/ora) oppure 1× H100 ($2.32/ora) |
| LoRA (base BF16) | Minimo 140 GB, ≈ 168 GB da preventivare → 1× B200 ($4.61/ora) oppure 2× H200 ($6.14/ora) |
| Full fine-tuning, Adam a 8 bit | ≈ 840 GB → 8× H200 ($24.56/ora) |
| Full fine-tuning, AdamW | 1.120–1.260 GB → 8× B200 ($36.88/ora) |
| Troppo piccola | Una L40S da 48 GB non copre la stima di 52,5 GB per QLoRA; gli autori di QLoRA sono riusciti a fare il fine-tuning di un modello 65B su una singola GPU da 48 GB |

## Quanta memoria serve a ogni metodo per un modello 70B?

- **QLoRA:** il modello base viene caricato a 4 bit e congelato; si addestrano solo piccoli adapter. Il paper QLoRA ha fatto il fine-tuning di un modello 65B su una singola GPU da 48 GB: 48 ÷ 65 = 0,74 GB per miliardo di parametri, arrotondato a 0,75. Per 70B: 70 × 0,75 = **52,5 GB**.
- **LoRA:** la base resta in BF16 ed è congelata: 70 × 2 byte = **140 GB**. Gli adapter e il loro optimizer aggiungono circa l'1%; con il nostro margine di pianificazione del 20%, 140 × 1,2 = **168 GB**.
- **Full fine-tuning, precisione mista con AdamW:** EleutherAI conta 2 + 12 + 2 = 16 byte per parametro (pesi, optimizer con copia FP32, gradienti): 70 × 16 = **1.120 GB**. Hugging Face conta 6 + 8 + 4 = 18 byte: **1.260 GB**. Le attivazioni si aggiungono.
- **Full fine-tuning con Adam a 8 bit:** Hugging Face stima gli stati dell'optimizer a 8 bit in 2 byte invece di 8, quindi 6 + 2 + 4 = 12 byte: 70 × 12 = **840 GB**.

Queste sono regole di pianificazione tratte dalle fonti citate, non misurazioni. La lunghezza delle sequenze e la batch size cambiano la memoria delle attivazioni; il gradient checkpointing la riduce. Le stesse regole per altre dimensioni di modello: [quanta VRAM mi serve?](https://gpuwithcrypto.com/it/how-much-vram-do-i-need/ "Quanta VRAM serve per eseguire o fare fine-tuning di un LLM?")

## Quante GPU servono a ogni metodo?

✓ = la VRAM complessiva della configurazione contiene la stima del metodo. Le righe multi-GPU presuppongono che il modello sia distribuito sulle GPU (FSDP o DeepSpeed ZeRO-3). I nostri prezzi orari per l'intera configurazione, 29 ottobre 2026.

| Configurazione | VRAM totale | QLoRA (52,5 GB) | LoRA (168 GB) | Full, Adam a 8 bit (840 GB) | Full, AdamW (1.260 GB) | GPUwithCrypto all'ora |
| --- | --- | --- | --- | --- | --- | --- |
| 1× L40S | 48 GB | No | No | No | No | $0.82/ora |
| 1× A100 80GB | 80 GB | Sì | No | No | No | $0.92/ora |
| 1× H100 | 80 GB | Sì | No | No | No | $2.32/ora |
| 1× H200 | 141 GB | Sì | No | No | No | $3.07/ora |
| 1× B200 | 180 GB | Sì | Sì | No | No | $4.61/ora |
| 2× H200 | 282 GB | Sì | Sì | No | No | $6.14/ora |
| 4× A100 80GB | 320 GB | Sì | Sì | No | No | $3.68/ora |
| 8× H100 | 640 GB | Sì | Sì | No | No | $18.56/ora |
| 8× H200 | 1,128 GB | Sì | Sì | Sì | No | $24.56/ora |
| 8× B200 | 1,440 GB | Sì | Sì | Sì | Sì | $36.88/ora |

*Prezzi verificati il 29 ottobre 2026.*

8× H200 regge sulla carta la stima a 16 byte (1.120 GB) ma lascia 8 GB per le attivazioni, quindi è contrassegnato ✗ per AdamW. 8× B200 lascia 180 GB dopo la stima a 18 byte. Le istanze hanno da 1 a 8 GPU a seconda dell'host. Prima di avviare, la dashboard mostra per ogni host il paese, il numero di GPU, il form factor (SXM o PCIe) e l'interconnessione.

## Quanto costa un fine-tuning di Llama 70B?

Costo = GPU × ore effettive × prezzo per GPU-ora. **Le ore qui sotto sono ipotesi scelte a scopo illustrativo, non misurazioni:** il tempo di esecuzione dipende dal numero di token di training, dalla lunghezza delle sequenze, dalla batch size e dal software. Misura i tuoi step per ora su una run breve prima di dimensionare una run lunga. Le ore ipotizzate corrispondono ai nostri blocchi da 10, 24 e 168 GPU-ora. Le GPU-ora sono vendute in blocchi da 10, 24, 168 o 720 ore per un modello di GPU, alla stessa tariffa oraria; le istanze di quella GPU ne attingono al minuto, e le ore non utilizzate non scadono mai. Ogni blocco e ogni GPU sono elencati su [GPU pricing](https://gpuwithcrypto.com/it/pricing/ "Quanto costa all'ora una GPU cloud su GPUwithCrypto?").

### Stima del costo di esecuzione con ore ipotizzate

| Metodo | Configurazione | Ore ipotizzate (non misurate) | GPU-ora | Costo GPUwithCrypto |
| --- | --- | --- | --- | --- |
| QLoRA | 1× A100 80GB | 10 | 10 | 9,20 USD |
| QLoRA | 1× H100 | 10 | 10 | 23,20 USD |
| LoRA | 1× B200 | 24 | 24 | 110,64 USD |
| LoRA | 2× H200 | 12 | 24 | 73,68 USD |
| Full, Adam a 8 bit | 8× H200 | 21 | 168 | 515,76 USD |
| Full, AdamW | 8× B200 | 21 | 168 | 774,48 USD |

*Prezzi verificati il 29 ottobre 2026.*

## Quanto costa in più un full fine-tuning rispetto a QLoRA?

Circa 40 volte tanto per ora di hardware. Secondo il controllo prezzi di GPUwithCrypto del 29 ottobre 2026, il prezzo self-serve on-demand più basso per un'istanza 8× B200 era 43,46 $/ora (Massed Compute, 5,4325 $ per GPU). Una A100 80GB costava 1,09 $/ora su Thunder Compute. Il rapporto è lo stesso ai nostri prezzi: $36.88/ora contro $0.92/ora.

Questo divario è il motivo per cui la maggior parte dei progetti su 70B parte da QLoRA o LoRA. Il paper su LoRA riporta risultati paragonabili al full fine-tuning sui task testati, con 10.000 volte meno parametri addestrabili.

## Per QLoRA su 70B è meglio la H100 o la A100?

Entrambe reggono la stima di 52,5 GB in 80 GB. La H100 ha 3,2 volte il throughput Tensor BF16 di picco della A100 (989,5 contro 312 TFLOPS dense) e 3.350 GB/s di banda (SXM) contro 2.039 GB/s. Sono i valori di picco dichiarati da NVIDIA; la velocità reale di training dipende dal software. Ai nostri prezzi la A100 costa $0.92/ora e la H100 $2.32/ora. Scegli la A100 quando il budget è fisso, la H100 quando lo è la scadenza. Altro: [H100 vs A100](https://gpuwithcrypto.com/it/compare/h100-vs-a100/ "H100 vs A100: quale dovrei noleggiare?").

## Quale software esegue ciascun metodo?

Hugging Face TRL esegue QLoRA e LoRA con un solo comando: `--load_in_4bit --use_peft` per QLoRA, `--use_peft` da solo per LoRA. Per LoRA multi-GPU e full fine-tuning, TRL fornisce profili Accelerate pronti come `fsdp2` e `zero3` (DeepSpeed ZeRO-3), passati con `--accelerate_config`. I repository Llama 3.1 su Hugging Face sono ad accesso limitato: accetta prima la licenza di Meta sulla pagina del modello. Comandi passo passo: [fine-tune Llama on a rented GPU](https://gpuwithcrypto.com/it/guides/fine-tune-llama-on-rented-gpu/ "Come faccio il fine-tuning di Llama su una GPU noleggiata?").

## Domande sul fine-tuning di Llama 70B

### Posso fare fine-tuning di Llama 70B su una sola GPU?

Sì, con QLoRA su una GPU da 80 GB: la stima è 52,5 GB. Anche LoRA su una base BF16 sta su una sola GPU, ma solo su una B200 da 180 GB. Il full fine-tuning richiede otto B200 o otto H200 con un optimizer a 8 bit.

### Posso fare fine-tuning di Llama 70B su una RTX 4090?

No. Anche in 4-bit, i soli pesi del 70B occupano 35 GB, più dei 24 GB della RTX 4090. La GPU più piccola che noleggiamo e che regge una run QLoRA è una A100 da 80 GB.

### Quanta VRAM serve per fare fine-tuning di Llama 70B con LoRA?

Circa 140 GB per i pesi BF16 congelati, e circa 168 GB con un margine del 20% per adapter e attivazioni. Una B200 (180 GB), due H200 (282 GB) o quattro GPU da 80 GB bastano.

### Quanto tempo richiede il fine-tuning di Llama 70B?

Dipende dal numero di token del tuo dataset, dalla lunghezza delle sequenze e dalla batch size, e non abbiamo misurato nessuna run, quindi non pubblichiamo tempi. Inizia con un blocco da 10 ore, misura gli step per ora sui tuoi dati, poi dimensiona la run completa.

### Posso pagare le GPU in criptovalute?

Sì. GPUwithCrypto accetta BTC, USDT, USDC, ETH, SOL, LTC, XMR da una ricarica 1 USD, senza documenti e senza carta. Le GPU-ora non utilizzate non scadono mai.

## Fonti

1. [QLoRA: Efficient Finetuning of Quantized LLMs](https://arxiv.org/abs/2305.14314) — arXiv (read 2026-10-29)
2. [Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA](https://huggingface.co/blog/4bit-transformers-bitsandbytes) — Hugging Face (read 2026-10-29)
3. [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685) — arXiv (read 2026-10-29)
4. [Transformer Math 101](https://blog.eleuther.ai/transformer-math/) — EleutherAI (read 2026-10-29)
5. [Model training anatomy (GPU memory)](https://huggingface.co/docs/transformers/model_memory_anatomy) — Hugging Face (read 2026-10-29)
6. [Scheda del modello Llama 3.1 70B](https://huggingface.co/meta-llama/Llama-3.1-70B) — Meta / Hugging Face (read 2026-10-29)
7. [Interfacce a riga di comando di TRL](https://huggingface.co/docs/trl/clis) — Hugging Face (read 2026-10-29)
8. [Integrazione di TRL con PEFT](https://huggingface.co/docs/trl/peft_integration) — Hugging Face (read 2026-10-29)
9. [Specifiche NVIDIA A100](https://www.nvidia.com/en-us/data-center/a100/) — NVIDIA (read 2026-10-29)
10. [Specifiche NVIDIA H100](https://www.nvidia.com/en-us/data-center/h100/) — NVIDIA (read 2026-10-29)
11. [Prezzi di Massed Compute](https://vm.massedcompute.com/pricing) — Massed Compute (read 2026-10-29)
12. [Prezzi di Thunder Compute](https://www.thundercompute.com/pricing) — Thunder Compute (read 2026-10-29)

---

GPUwithCrypto: GPUwithCrypto noleggia GPU cloud (NVIDIA H100, H200, B200, A100, L40S, RTX 4090 e RTX 5090) al minuto, pagando in criptovalute senza KYC; ogni GPU costa almeno il 15% in meno rispetto a un riferimento on-demand nominato, consultato il 29 ottobre 2026.