Resposta rápida
Como faço fine-tune do Llama numa GPU alugada?
Para fazer fine-tuning do Llama em uma GPU alugada, treine um adaptador LoRA ou QLoRA com o Hugging Face TRL. O Llama 3.1 8B precisa de cerca de 6 GB em QLoRA e de 19,2 GB em LoRA, então uma única RTX 4090 de 24 GB basta; o Llama 3.1 70B em QLoRA precisa de cerca de 52,5 GB, uma A100 80GB. Copie o adaptador antes de excluir a instância. Em 29 de outubro de 2026, GPUwithCrypto aluga a RTX 4090 a partir de $0,28/hora, com pagamento em cripto.
De qual GPU eu preciso para fazer fine-tuning do Llama?
Memória pelas regras do nosso guia de VRAM]: QLoRA ≈ 0,75 GB por bilhão de parâmetros, LoRA = 2 bytes por parâmetro × 1,2, fine-tuning completo 16–18 bytes por parâmetro. Nossos preços de 29 de outubro de 2026.
| Modelo | Método | VRAM (regra) | GPU | GPUwithCrypto por hora |
|---|---|---|---|---|
| Llama 3.1 8B | QLoRA | 6 GB | 1× RTX 4090 (24 GB) | $0,28/hora |
| Llama 3.1 8B | LoRA (base BF16) | 19.2 GB | 1× RTX 4090 (24 GB) | $0,28/hora |
| Llama 3.1 8B | Fine-tune completo | 128–144 GB + ativações | 1× B200 (180 GB) | $4,61/hora |
| Llama 3.1 70B | QLoRA | 52.5 GB | 1× A100 80GB ou 1× H100 | $0,92/hora ou $2,32/hora |
| Llama 3.1 70B | LoRA (base BF16) | 168 GB | 1× B200 ou 2× H200 | $4,61/hora ou $6.14/hora |
Preços verificados em
Disco: os pesos do Llama 3.1 8B Instruct ocupam 16,1 GB e os pesos do 70B Instruct, 141,1 GB. Deixe espaço para checkpoints.
Como rodar um fine-tune QLoRA do Llama 3.1 8B?
Comandos da documentação do Hugging Face TRL e do Hub. Troque o id do modelo por meta-llama/Llama-3.1-70B-Instruct em uma GPU de 80 GB para treinar o modelo 70B do mesmo jeito. Novo em GPUs alugadas? Como alugar uma GPU para IA cobre a conta, o SSH e um primeiro job.
Alugue a GPU
Inicie uma instância de 1× RTX 4090 para o modelo 8B, ou de 1× A100 80GB para o 70B. Cada instância entrega GPUs inteiras, nunca uma fatia compartilhada por tempo nem uma partição MIG. Você recebe acesso SSH root a Ubuntu com o driver NVIDIA, CUDA e PyTorch instalados, ou começa a partir da sua própria imagem Docker.
Obtenha acesso ao Llama
Os repositórios meta-llama no Hugging Face têm acesso restrito: solicite acesso na página do modelo e aceite a licença da Meta, depois rode
hf auth loginna instância com um token de leitura.Instale TRL, PEFT e bitsandbytes
pip install "trl[peft]" bitsandbytes. O bitsandbytes fornece o carregamento em 4 bits que o QLoRA precisa.Escolha um dataset
Use um id de dataset do Hugging Face ou seu próprio arquivo de conversas. O exemplo usa
trl-lib/Capybara, o dataset dos próprios exemplos do TRL.Treine o adaptador
Rode o comando
trl sftabaixo dentro detmux.--load_in_4bitcarrega o modelo base em 4 bits,--use_peftadiciona o adaptador LoRA, e os checkpoints vão para--output_dir.Teste o adaptador
Carregue o modelo base, anexe o adaptador com o PEFT e compare as respostas com o modelo base nos seus próprios prompts.
Copie o adaptador, depois exclua
Toda instância tem disco NVMe local, dimensionado para a sua GPU e mostrado antes de você começar. O disco é apagado quando você exclui a instância, então copie seus checkpoints antes. Copie a pasta de saída para o seu computador ou envie para um repositório privado no Hugging Face e então exclua a instância.
pip install "trl[peft]" bitsandbytes
hf auth login
trl sft \
--model_name_or_path meta-llama/Llama-3.1-8B-Instruct \
--dataset_name trl-lib/Capybara \
--load_in_4bit \
--use_peft \
--lora_r 32 \
--lora_alpha 16 \
--lora_target_modules q_proj k_proj v_proj o_proj gate_proj up_proj down_proj \
--learning_rate 2.0e-4 \
--num_train_epochs 1 \
--per_device_train_batch_size 1 \
--gradient_accumulation_steps 16 \
--gradient_checkpointing \
--save_strategy steps \
--save_steps 200 \
--output_dir llama-3.1-8b-qlora
O que fazem os principais flags de treinamento?
--lora_r 32 --lora_alpha 16: o rank e o escalonamento do adaptador, os valores dos exemplos de PEFT do TRL. Rank 32 em todas as sete camadas lineares do Llama 3.1 8B treina cerca de 84 milhões de parâmetros, cerca de 1% do modelo.--learning_rate 2.0e-4: a documentação do TRL recomenda cerca de 10 vezes a taxa do fine-tuning completo (2.0e-5) para LoRA.--per_device_train_batch_size 1 --gradient_accumulation_steps 16: um batch efetivo de 16 com o consumo de memória de um batch de 1.--gradient_checkpointing: recalcula as ativações em vez de armazená-las, trocando tempo por memória.--save_strategy steps --save_steps 200: grava um checkpoint a cada 200 passos, então uma queda custa no máximo 200 passos.
# from your computer: copy the adapter folder before you delete the instance
rsync -avP -e "ssh -p SSH_PORT" root@HOST:/root/llama-3.1-8b-qlora/ ./llama-3.1-8b-qlora/
# or, on the instance: create a private repo on huggingface.co first, then upload
hf upload your-name/llama-3.1-8b-qlora ./llama-3.1-8b-qlora .
# later, serve the base model with the adapter in vLLM
vllm serve meta-llama/Llama-3.1-8B-Instruct \
--enable-lora --max-lora-rank 32 \
--lora-modules my-adapter=./llama-3.1-8b-qlora
Quanto custa o fine-tuning do Llama em uma GPU alugada?
Custo = GPUs × horas de relógio × preço por GPU-hora. As horas abaixo são suposições para ilustração, não medições: o tempo de execução depende dos tokens do seu dataset, do comprimento da sequência e do batch size. Escolhemos horas que batem com os nossos blocos de 10 e 24 GPU-horas. As GPU-horas são vendidas em blocos de 10, 24, 168 ou 720 horas para um modelo de GPU, na mesma tarifa horária; as instâncias dessa GPU consomem delas por minuto, e as horas não usadas nunca expiram. Todas as GPUs e blocos estão listados em preços de GPU.
Uma GPU menor é a maior economia. Segundo a verificação de preços da GPUwithCrypto de 29 de outubro de 2026, a RTX 4090 on-demand self-serve mais barata custava $0.33 por hora (Salad) e a H100 mais barata, $2.73 (Massed Compute): 8,3 vezes mais, para um job QLoRA de 8B que cabe em 24 GB de qualquer jeito. A página de preço da RTX 4090 lista os provedores que verificamos.
Estimativa de custo por execução com horas assumidas
| Job | Configuração | Horas assumidas (não medidas) | GPU-horas | Custo de GPUwithCrypto |
|---|---|---|---|---|
| Llama 3.1 8B, QLoRA | 1× RTX 4090 | 10 | 10 | US$ 2,80 |
| Llama 3.1 8B, LoRA | 1× RTX 4090 | 24 | 24 | US$ 6,72 |
| Llama 3.1 70B, QLoRA | 1× A100 80GB | 24 | 24 | US$ 22,08 |
| Llama 3.1 70B, LoRA | 2× H200 | 12 | 24 | US$ 73,68 |
Preços verificados em
Como evito perder trabalho em uma GPU alugada?
Salve com frequência, copie os arquivos cedo e fique de olho no saldo. As instâncias são on-demand, não spot: ninguém pode tomar sua GPU de volta enquanto seu saldo cobrir o uso, e a instância roda até você pará-la. Quando as GPU-horas de uma GPU acabam, suas instâncias param e os discos delas são mantidos; um novo bloco de horas permite iniciá-las de novo. Se uma execução parar, o Trainer do Hugging Face retoma do último checkpoint na pasta de saída quando você chama trainer.train(resume_from_checkpoint=True) no Python. Unsloth e Axolotl são duas outras ferramentas LoRA bem conhecidas; este guia usa o TRL porque suas flags de linha de comando estão documentadas nas próprias páginas do Hugging Face.
Perguntas sobre fine-tuning do Llama
Quanta VRAM preciso para fazer fine-tuning do Llama 3.1 8B?
Cerca de 6 GB com QLoRA e 19,2 GB com LoRA em uma base BF16, então uma RTX 4090 de 24 GB roda os dois. O fine-tuning completo precisa de 128 a 144 GB antes das ativações, uma B200 de 180 GB.
Posso fazer fine-tuning do Llama 70B em uma única GPU?
Sim, com QLoRA em uma A100 ou H100 de 80 GB: a estimativa é 52,5 GB. LoRA em uma base BF16 precisa de cerca de 168 GB, uma B200 ou duas H200. Mais em a melhor GPU para fine-tuning do Llama 70B.
Devo usar LoRA ou QLoRA?
QLoRA quando a memória é o limite: ele carrega o modelo base em 4-bit e divide a memória por cerca de três em relação ao LoRA. LoRA quando a GPU tem espaço: a base fica em BF16. Compare os dois adaptadores no seu próprio conjunto de avaliação.
Quanto tempo leva o fine-tuning do Llama?
Depende do número de tokens de treinamento, do comprimento da sequência e do tamanho do batch, e não medimos uma execução, por isso não damos estimativa de tempo. Um bloco de 10 horas é suficiente para medir seus passos por hora antes de uma execução longa.
Posso pagar a GPU com cripto?
Sim. A GPUwithCrypto aceita BTC, USDT, USDC, ETH, SOL, LTC, XMR de um depósito via US$ 1, sem documento e sem cartão. As instâncias são cobradas por minuto na tarifa horária enquanto rodam, a partir das GPU-horas que você comprou para aquela GPU. Parar uma instância interrompe a cobrança na hora.
Fontes (12)
- Interfaces de linha de comando do TRL — Hugging Face (read 2026-10-29)
- Integração do TRL com PEFT (LoRA, QLoRA, salvamento de adaptadores) — Hugging Face (read 2026-10-29)
- Guia da CLI do Hugging Face (hf auth login, hf upload) — Hugging Face (read 2026-10-29)
- Trainer e TrainingArguments — Hugging Face (read 2026-10-29)
- Model card do Llama 3.1 8B — Meta / Hugging Face (read 2026-10-29)
- Cartão de modelo do Llama 3.1 70B — Meta / Hugging Face (read 2026-10-29)
- The Llama 3 Herd of Models (Table 3) — arXiv (read 2026-10-29)
- QLoRA: Efficient Finetuning of Quantized LLMs — arXiv (read 2026-10-29)
- LoRA: Low-Rank Adaptation of Large Language Models — arXiv (read 2026-10-29)
- Receitas do vLLM (flags de serving LoRA) — vLLM project (read 2026-10-29)
- Mudanças de preço do SaladCloud, novembro de 2026 blog.salad.com/saladcloud-price-changes-november-2026 — Salad (read 2026-10-29)
- Preços do Massed Compute vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)