Resposta rápida
Qual é a melhor GPU para fazer fine-tuning do Llama 70B?
A melhor GPU para fazer fine-tuning do Llama 70B depende do método. QLoRA precisa de cerca de 52,5 GB, então uma A100 ou H100 de 80 GB. LoRA sobre uma base BF16 precisa de cerca de 168 GB, então uma B200 de 180 GB ou duas H200. Full fine-tuning precisa de 1.120 a 1.260 GB antes das ativações, então oito B200. Em 29 de outubro de 2026, a GPUwithCrypto aluga uma A100 80GB por $0,92/hora, pago em cripto.
Qual GPU para qual método?
| QLoRA (base 4-bit) | ≈ 52,5 GB → 1× A100 80GB ($0,92/hora) ou 1× H100 ($2,32/hora) |
|---|---|
| LoRA (base BF16) | Piso de 140 GB, ≈ 168 GB para planejar → 1× B200 ($4,61/hora) ou 2× H200 ($6.14/hora) |
| Full fine-tune, Adam 8-bit | ≈ 840 GB → 8× H200 ($24.56/hora) |
| Full fine-tune, AdamW | 1.120–1.260 GB → 8× B200 ($36.88/hora) |
| Pequena demais | Uma L40S de 48 GB não alcança a estimativa de 52,5 GB do QLoRA; os autores do QLoRA conseguiram ajustar um modelo 65B em uma única GPU de 48 GB |
Quanta memória cada método precisa para um modelo 70B?
- QLoRA: o modelo base é carregado em 4-bit e congelado; apenas adaptadores pequenos são treinados. O artigo do QLoRA fez fine-tuning de um modelo 65B em uma única GPU de 48 GB: 48 ÷ 65 = 0,74 GB por bilhão de parâmetros, arredondado para 0,75. Para 70B: 70 × 0,75 = 52,5 GB.
- LoRA: a base permanece em BF16 e congelada: 70 × 2 bytes = 140 GB. Os adaptadores e seu otimizador acrescentam cerca de 1%; com nossa margem de planejamento de 20%, 140 × 1,2 = 168 GB.
- Full fine-tuning, precisão mista com AdamW: a EleutherAI conta 2 + 12 + 2 = 16 bytes por parâmetro (pesos, otimizador com cópia FP32, gradientes): 70 × 16 = 1.120 GB. A Hugging Face conta 6 + 8 + 4 = 18 bytes: 1.260 GB. As ativações vêm por cima.
- Full fine-tuning com Adam 8-bit: a Hugging Face considera estados do otimizador em 8-bit a 2 bytes em vez de 8, então 6 + 2 + 4 = 12 bytes: 70 × 12 = 840 GB.
Estas são regras de planejamento das fontes citadas, não medições. O comprimento de sequência e o tamanho do batch alteram a memória de ativação; o gradient checkpointing a reduz. As mesmas regras para outros tamanhos de modelo: de quanta VRAM eu preciso?
Quantas GPUs cada método precisa?
✓ = a VRAM combinada da configuração comporta a estimativa do método. As linhas com várias GPUs assumem que o modelo é dividido entre as GPUs (FSDP ou DeepSpeed ZeRO-3). Nossos preços por hora para a configuração inteira, 29 de outubro de 2026.
| Configuração | VRAM total | QLoRA (52,5 GB) | LoRA (168 GB) | Full, Adam 8-bit (840 GB) | Full, AdamW (1.260 GB) | GPUwithCrypto por hora |
|---|---|---|---|---|---|---|
| 1× L40S | 48 GB | ✗ | ✗ | ✗ | ✗ | $0,82/hora |
| 1× A100 80GB | 80 GB | ✓ | ✗ | ✗ | ✗ | $0,92/hora |
| 1× H100 | 80 GB | ✓ | ✗ | ✗ | ✗ | $2,32/hora |
| 1× H200 | 141 GB | ✓ | ✗ | ✗ | ✗ | $3,07/hora |
| 1× B200 | 180 GB | ✓ | ✓ | ✗ | ✗ | $4,61/hora |
| 2× H200 | 282 GB | ✓ | ✓ | ✗ | ✗ | $6.14/hora |
| 4× A100 80GB | 320 GB | ✓ | ✓ | ✗ | ✗ | $3.68/hora |
| 8× H100 | 640 GB | ✓ | ✓ | ✗ | ✗ | $18.56/hora |
| 8× H200 | 1,128 GB | ✓ | ✓ | ✓ | ✗ | $24.56/hora |
| 8× B200 | 1,440 GB | ✓ | ✓ | ✓ | ✓ | $36.88/hora |
Preços verificados em
O 8× H200 comporta a estimativa de 16 bytes (1.120 GB) no papel, mas deixa 8 GB para ativações, então está marcado ✗ para AdamW. O 8× B200 deixa 180 GB após a estimativa de 18 bytes. As instâncias têm de 1 a 8 GPUs dependendo do host. Antes de começar, o dashboard mostra o país de cada host, a quantidade de GPUs, o form factor (SXM ou PCIe) e a interconexão.
Quanto custa um fine-tuning do Llama 70B?
Custo = GPUs × horas de relógio × preço por GPU-hora. As horas abaixo são suposições escolhidas para ilustração, não medições: o tempo de execução depende do número de tokens de treinamento, do comprimento da sequência, do tamanho do batch e do software. Meça seus próprios passos por hora em uma execução curta antes de dimensionar uma longa. As horas assumidas correspondem aos nossos blocos de 10, 24 e 168 GPU-horas. As GPU-horas são vendidas em blocos de 10, 24, 168 ou 720 horas para um modelo de GPU, na mesma tarifa horária; as instâncias dessa GPU consomem delas por minuto, e as horas não usadas nunca expiram. Cada bloco e GPU está listado em preços de GPU.
Estimativa de custo por execução com horas assumidas
| Método | Configuração | Horas assumidas (não medidas) | GPU-horas | Custo de GPUwithCrypto |
|---|---|---|---|---|
| QLoRA | 1× A100 80GB | 10 | 10 | US$ 9,20 |
| QLoRA | 1× H100 | 10 | 10 | US$ 23,20 |
| LoRA | 1× B200 | 24 | 24 | US$ 110,64 |
| LoRA | 2× H200 | 12 | 24 | US$ 73,68 |
| Full, Adam de 8 bits | 8× H200 | 21 | 168 | US$ 515,76 |
| Full, AdamW | 8× B200 | 21 | 168 | US$ 774,48 |
Preços verificados em
Quanto mais custa o fine-tuning completo do que o QLoRA?
Cerca de 40 vezes mais por hora de hardware. Segundo a verificação de preço da GPUwithCrypto de 29 de outubro de 2026, o menor preço self-serve on-demand para uma instância 8× B200 era US$ 43,46 por hora (Massed Compute, US$ 5,4325 por GPU). Uma A100 80GB custava US$ 1,09 por hora na Thunder Compute. A proporção é a mesma com os nossos preços: $36.88/hora contra $0,92/hora.
Essa diferença é o motivo pelo qual a maioria dos projetos de 70B começa com QLoRA ou LoRA. O paper do LoRA relata resultados comparáveis ao fine-tuning completo nas tarefas que testou, com 10.000 vezes menos parâmetros treináveis.
A H100 ou a A100 é melhor para QLoRA em 70B?
Ambas comportam a estimativa de 52,5 GB em 80 GB. A H100 tem 3,2 vezes a taxa de transferência de pico de BF16 Tensor da A100 (989,5 contra 312 TFLOPS dense) e 3.350 GB/s de largura de banda (SXM) contra 2.039 GB/s. Esses são os números de pico da NVIDIA; a velocidade real de treinamento depende do software. A A100 custa $0,92/hora e a H100 $2,32/hora nos nossos preços. Escolha a A100 quando o orçamento é fixo, a H100 quando o prazo é. Mais: H100 vs A100.
Qual software executa cada método?
O Hugging Face TRL executa QLoRA e LoRA com um único comando: --load_in_4bit --use_peft para QLoRA, --use_peft sozinho para LoRA. Para LoRA multi-GPU e fine-tuning completo, o TRL traz perfis Accelerate prontos, como fsdp2 e zero3 (DeepSpeed ZeRO-3), passados com --accelerate_config. Os repositórios do Llama 3.1 no Hugging Face são gated: aceite a licença da Meta na página do modelo primeiro. Comandos passo a passo: fine-tune Llama em uma GPU alugada.
Perguntas sobre fine-tuning do Llama 70B
Posso fazer fine-tuning do Llama 70B em uma única GPU?
Sim, com QLoRA em uma GPU de 80 GB: a estimativa é 52,5 GB. O LoRA em uma base BF16 também cabe em uma GPU, mas apenas em uma B200 de 180 GB. O fine-tuning completo precisa de oito B200s ou oito H200s com um otimizador de 8 bits.
Posso fazer fine-tuning do Llama 70B em uma RTX 4090?
Não. Mesmo em 4 bits, só os pesos do 70B ocupam 35 GB, mais que os 24 GB da RTX 4090. A menor GPU que alugamos que comporta uma execução de QLoRA é uma A100 de 80 GB.
Quanta VRAM preciso para fazer fine-tuning do Llama 70B com LoRA?
Cerca de 140 GB para os pesos BF16 congelados, e cerca de 168 GB com uma margem de 20% para adaptadores e ativações. Uma B200 (180 GB), duas H200s (282 GB) ou quatro GPUs de 80 GB comportam isso.
Quanto tempo leva o fine-tuning do Llama 70B?
Depende da contagem de tokens do seu dataset, do comprimento da sequência e do tamanho do batch, e não medimos uma execução, então não publicamos tempo. Comece com um bloco de 10 horas, meça os passos por hora com seus dados e depois dimensione a execução completa.
Posso pagar pelas GPUs com cripto?
Sim. GPUwithCrypto usa BTC, USDT, USDC, ETH, SOL, LTC de uma recarga de US$ 25, sem ID e sem cartão. As GPU-horas não usadas nunca expiram.
Fontes (12)
- QLoRA: Efficient Finetuning of Quantized LLMs — arXiv (read 2026-10-29)
- Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA — Hugging Face (read 2026-10-29)
- LoRA: Low-Rank Adaptation of Large Language Models — arXiv (read 2026-10-29)
- Transformer Math 101 — EleutherAI (read 2026-10-29)
- Model training anatomy (GPU memory) — Hugging Face (read 2026-10-29)
- Cartão de modelo do Llama 3.1 70B — Meta / Hugging Face (read 2026-10-29)
- Interfaces de linha de comando do TRL — Hugging Face (read 2026-10-29)
- Integração do TRL com o PEFT — Hugging Face (read 2026-10-29)
- Especificações da NVIDIA A100 — NVIDIA (read 2026-10-29)
- Especificações da NVIDIA H100 — NVIDIA (read 2026-10-29)
- Preços do Massed Compute vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)
- Preços do Thunder Compute thundercompute.com/pricing — Thunder Compute (read 2026-10-29)