Risposta rapida
Qual è la miglior GPU per il fine-tuning di Llama 70B?
La miglior GPU per il fine-tuning di Llama 70B dipende dal metodo. QLoRA richiede circa 52,5 GB, quindi una A100 o H100 da 80 GB. LoRA su una base BF16 richiede circa 168 GB, quindi una B200 da 180 GB o due H200. Il full fine-tuning richiede da 1.120 a 1.260 GB prima delle attivazioni, quindi otto B200. Al 29 ottobre 2026, GPUwithCrypto noleggia una A100 80GB a $0.92/ora, pagando in criptovalute.
Quale GPU per quale metodo?
| QLoRA (base a 4 bit) | ≈ 52,5 GB → 1× A100 80GB ($0.92/ora) oppure 1× H100 ($2.32/ora) |
|---|---|
| LoRA (base BF16) | Minimo 140 GB, ≈ 168 GB da preventivare → 1× B200 ($4.61/ora) oppure 2× H200 ($6.14/ora) |
| Full fine-tuning, Adam a 8 bit | ≈ 840 GB → 8× H200 ($24.56/ora) |
| Full fine-tuning, AdamW | 1.120–1.260 GB → 8× B200 ($36.88/ora) |
| Troppo piccola | Una L40S da 48 GB non copre la stima di 52,5 GB per QLoRA; gli autori di QLoRA sono riusciti a fare il fine-tuning di un modello 65B su una singola GPU da 48 GB |
Quanta memoria serve a ogni metodo per un modello 70B?
- QLoRA: il modello base viene caricato a 4 bit e congelato; si addestrano solo piccoli adapter. Il paper QLoRA ha fatto il fine-tuning di un modello 65B su una singola GPU da 48 GB: 48 ÷ 65 = 0,74 GB per miliardo di parametri, arrotondato a 0,75. Per 70B: 70 × 0,75 = 52,5 GB.
- LoRA: la base resta in BF16 ed è congelata: 70 × 2 byte = 140 GB. Gli adapter e il loro optimizer aggiungono circa l'1%; con il nostro margine di pianificazione del 20%, 140 × 1,2 = 168 GB.
- Full fine-tuning, precisione mista con AdamW: EleutherAI conta 2 + 12 + 2 = 16 byte per parametro (pesi, optimizer con copia FP32, gradienti): 70 × 16 = 1.120 GB. Hugging Face conta 6 + 8 + 4 = 18 byte: 1.260 GB. Le attivazioni si aggiungono.
- Full fine-tuning con Adam a 8 bit: Hugging Face stima gli stati dell'optimizer a 8 bit in 2 byte invece di 8, quindi 6 + 2 + 4 = 12 byte: 70 × 12 = 840 GB.
Queste sono regole di pianificazione tratte dalle fonti citate, non misurazioni. La lunghezza delle sequenze e la batch size cambiano la memoria delle attivazioni; il gradient checkpointing la riduce. Le stesse regole per altre dimensioni di modello: quanta VRAM mi serve?
Quante GPU servono a ogni metodo?
✓ = la VRAM complessiva della configurazione contiene la stima del metodo. Le righe multi-GPU presuppongono che il modello sia distribuito sulle GPU (FSDP o DeepSpeed ZeRO-3). I nostri prezzi orari per l'intera configurazione, 29 ottobre 2026.
| Configurazione | VRAM totale | QLoRA (52,5 GB) | LoRA (168 GB) | Full, Adam a 8 bit (840 GB) | Full, AdamW (1.260 GB) | GPUwithCrypto all'ora |
|---|---|---|---|---|---|---|
| 1× L40S | 48 GB | ✗ | ✗ | ✗ | ✗ | $0.82/ora |
| 1× A100 80GB | 80 GB | ✓ | ✗ | ✗ | ✗ | $0.92/ora |
| 1× H100 | 80 GB | ✓ | ✗ | ✗ | ✗ | $2.32/ora |
| 1× H200 | 141 GB | ✓ | ✗ | ✗ | ✗ | $3.07/ora |
| 1× B200 | 180 GB | ✓ | ✓ | ✗ | ✗ | $4.61/ora |
| 2× H200 | 282 GB | ✓ | ✓ | ✗ | ✗ | $6.14/ora |
| 4× A100 80GB | 320 GB | ✓ | ✓ | ✗ | ✗ | $3.68/ora |
| 8× H100 | 640 GB | ✓ | ✓ | ✗ | ✗ | $18.56/ora |
| 8× H200 | 1,128 GB | ✓ | ✓ | ✓ | ✗ | $24.56/ora |
| 8× B200 | 1,440 GB | ✓ | ✓ | ✓ | ✓ | $36.88/ora |
Prezzi verificati il
8× H200 regge sulla carta la stima a 16 byte (1.120 GB) ma lascia 8 GB per le attivazioni, quindi è contrassegnato ✗ per AdamW. 8× B200 lascia 180 GB dopo la stima a 18 byte. Le istanze hanno da 1 a 8 GPU a seconda dell'host. Prima di avviare, la dashboard mostra per ogni host il paese, il numero di GPU, il form factor (SXM o PCIe) e l'interconnessione.
Quanto costa un fine-tuning di Llama 70B?
Costo = GPU × ore effettive × prezzo per GPU-ora. Le ore qui sotto sono ipotesi scelte a scopo illustrativo, non misurazioni: il tempo di esecuzione dipende dal numero di token di training, dalla lunghezza delle sequenze, dalla batch size e dal software. Misura i tuoi step per ora su una run breve prima di dimensionare una run lunga. Le ore ipotizzate corrispondono ai nostri blocchi da 10, 24 e 168 GPU-ora. Le GPU-ora sono vendute in blocchi da 10, 24, 168 o 720 ore per un modello di GPU, alla stessa tariffa oraria; le istanze di quella GPU ne attingono al minuto, e le ore non utilizzate non scadono mai. Ogni blocco e ogni GPU sono elencati su GPU pricing.
Stima del costo di esecuzione con ore ipotizzate
| Metodo | Configurazione | Ore ipotizzate (non misurate) | GPU-ora | Costo GPUwithCrypto |
|---|---|---|---|---|
| QLoRA | 1× A100 80GB | 10 | 10 | 9,20 USD |
| QLoRA | 1× H100 | 10 | 10 | 23,20 USD |
| LoRA | 1× B200 | 24 | 24 | 110,64 USD |
| LoRA | 2× H200 | 12 | 24 | 73,68 USD |
| Full, Adam a 8 bit | 8× H200 | 21 | 168 | 515,76 USD |
| Full, AdamW | 8× B200 | 21 | 168 | 774,48 USD |
Prezzi verificati il
Quanto costa in più un full fine-tuning rispetto a QLoRA?
Circa 40 volte tanto per ora di hardware. Secondo il controllo prezzi di GPUwithCrypto del 29 ottobre 2026, il prezzo self-serve on-demand più basso per un'istanza 8× B200 era 43,46 $/ora (Massed Compute, 5,4325 $ per GPU). Una A100 80GB costava 1,09 $/ora su Thunder Compute. Il rapporto è lo stesso ai nostri prezzi: $36.88/ora contro $0.92/ora.
Questo divario è il motivo per cui la maggior parte dei progetti su 70B parte da QLoRA o LoRA. Il paper su LoRA riporta risultati paragonabili al full fine-tuning sui task testati, con 10.000 volte meno parametri addestrabili.
Per QLoRA su 70B è meglio la H100 o la A100?
Entrambe reggono la stima di 52,5 GB in 80 GB. La H100 ha 3,2 volte il throughput Tensor BF16 di picco della A100 (989,5 contro 312 TFLOPS dense) e 3.350 GB/s di banda (SXM) contro 2.039 GB/s. Sono i valori di picco dichiarati da NVIDIA; la velocità reale di training dipende dal software. Ai nostri prezzi la A100 costa $0.92/ora e la H100 $2.32/ora. Scegli la A100 quando il budget è fisso, la H100 quando lo è la scadenza. Altro: H100 vs A100.
Quale software esegue ciascun metodo?
Hugging Face TRL esegue QLoRA e LoRA con un solo comando: --load_in_4bit --use_peft per QLoRA, --use_peft da solo per LoRA. Per LoRA multi-GPU e full fine-tuning, TRL fornisce profili Accelerate pronti come fsdp2 e zero3 (DeepSpeed ZeRO-3), passati con --accelerate_config. I repository Llama 3.1 su Hugging Face sono ad accesso limitato: accetta prima la licenza di Meta sulla pagina del modello. Comandi passo passo: fine-tune Llama on a rented GPU.
Domande sul fine-tuning di Llama 70B
Posso fare fine-tuning di Llama 70B su una sola GPU?
Sì, con QLoRA su una GPU da 80 GB: la stima è 52,5 GB. Anche LoRA su una base BF16 sta su una sola GPU, ma solo su una B200 da 180 GB. Il full fine-tuning richiede otto B200 o otto H200 con un optimizer a 8 bit.
Posso fare fine-tuning di Llama 70B su una RTX 4090?
No. Anche in 4-bit, i soli pesi del 70B occupano 35 GB, più dei 24 GB della RTX 4090. La GPU più piccola che noleggiamo e che regge una run QLoRA è una A100 da 80 GB.
Quanta VRAM serve per fare fine-tuning di Llama 70B con LoRA?
Circa 140 GB per i pesi BF16 congelati, e circa 168 GB con un margine del 20% per adapter e attivazioni. Una B200 (180 GB), due H200 (282 GB) o quattro GPU da 80 GB bastano.
Quanto tempo richiede il fine-tuning di Llama 70B?
Dipende dal numero di token del tuo dataset, dalla lunghezza delle sequenze e dalla batch size, e non abbiamo misurato nessuna run, quindi non pubblichiamo tempi. Inizia con un blocco da 10 ore, misura gli step per ora sui tuoi dati, poi dimensiona la run completa.
Posso pagare le GPU in criptovalute?
Sì. GPUwithCrypto accetta BTC, USDT, USDC, ETH, SOL, LTC da una ricarica 25 USD, senza documenti e senza carta. Le GPU-ora non utilizzate non scadono mai.
Fonti (12)
- QLoRA: Efficient Finetuning of Quantized LLMs — arXiv (read 2026-10-29)
- Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA — Hugging Face (read 2026-10-29)
- LoRA: Low-Rank Adaptation of Large Language Models — arXiv (read 2026-10-29)
- Transformer Math 101 — EleutherAI (read 2026-10-29)
- Model training anatomy (GPU memory) — Hugging Face (read 2026-10-29)
- Scheda del modello Llama 3.1 70B — Meta / Hugging Face (read 2026-10-29)
- Interfacce a riga di comando di TRL — Hugging Face (read 2026-10-29)
- Integrazione di TRL con PEFT — Hugging Face (read 2026-10-29)
- Specifiche NVIDIA A100 — NVIDIA (read 2026-10-29)
- Specifiche NVIDIA H100 — NVIDIA (read 2026-10-29)
- Prezzi di Massed Compute vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)
- Prezzi di Thunder Compute thundercompute.com/pricing — Thunder Compute (read 2026-10-29)