Quanta VRAM preciso para rodar ou fazer fine-tune de um LLM?

Como calculo a VRAM que um modelo precisa?

Multiplique a contagem de parâmetros pelos bytes que cada parâmetro ocupa e adicione 20%. Exemplo prático, Llama 3.1 70B em FP8: 70 bilhões × 1 byte = 70 GB de pesos, e 70 × 1,2 = 84 GB. Isso é mais que uma H100 de 80 GB e menos que uma H200 de 141 GB, então o menor ajuste é uma H200. Qual GPU atende qual modelo com mais rapidez pelo preço: melhor GPU para inferência de LLM.

Os 20% cobrem o KV cache e as ativações em um comprimento de contexto e tamanho de lote modestos. A regra e os bytes por parâmetro vêm do Transformer Math 101 da EleutherAI. É uma regra de dimensionamento, não uma garantia: prompts longos, muitos usuários em paralelo e o overhead do framework ultrapassam isso. Um total dentro de 5% da VRAM de uma placa, como Qwen2.5 32B em BF16 (78 GB) em uma placa de 80 GB, roda apenas com prompts curtos; opte pelo tamanho acima para prompts longos.

Quanta VRAM adiciona um contexto longo?

Um contexto longo adiciona o KV cache: dois vetores (chave e valor) por camada, por cabeça de KV, por token. Para o Llama 3.1 70B (80 camadas, 8 cabeças de KV de 128 valores, conforme o artigo do Llama 3) em BF16: 2 × 80 × 8 × 128 × 2 bytes = 327.680 bytes por token. Uma conversa de 128K tokens (131.072 tokens) portanto precisa de 42,9 GB.

Some isso aos pesos em FP8: 70 + 42,9 = 112,9 GB, ainda um H200. Quatro conversas dessas ao mesmo tempo precisam de 70 + 4 × 42,9 = 241,6 GB, então dois H200s. Um KV cache em FP8 reduz pela metade os números do cache. Modelos DeepSeek comprimem o cache de atenção, então essa fórmula não se aplica a eles.

Quanta VRAM preciso para fazer fine-tuning de um LLM?

O fine-tuning completo precisa de 16 a 18 bytes por parâmetro antes das ativações. A EleutherAI conta 2 bytes de pesos, 12 de estado do otimizador (com a cópia em FP32) e 2 de gradientes; a Hugging Face conta 6 + 8 + 4 = 18. O LoRA congela o modelo base, então precisa de cerca de 2 bytes por parâmetro para uma base em BF16; o artigo do LoRA relata uma redução de 3× na memória de GPU em relação ao fine-tuning completo. Nossa margem de planejamento de × 1,2 no LoRA é convenção nossa. O QLoRA carrega a base em 4-bit: seus autores fizeram fine-tuning de um modelo de 65B em uma única GPU de 48 GB, 48 ÷ 65 = 0,74 GB por bilhão de parâmetros, arredondado para 0,75. Cada método aplicado a um modelo de 70B: melhor GPU para fine-tuning do Llama 70B.

Por que a quantidade de GPUs salta de 2 para 4 e para 8?

O tensor parallelism divide as attention heads de cada camada igualmente entre as GPUs. O vLLM se recusa a iniciar quando o número de heads não é divisível pela quantidade de GPUs. O Llama 3.1 70B tem 64 attention heads, então 2, 4 ou 8 GPUs funcionam e 3 não. Três H100 de 80 GB (240 GB) cabem um modelo de 168 GB no papel, mas não são um layout utilizável; quatro são. As instâncias têm de 1 a 8 GPUs dependendo do host. Antes de começar, o dashboard mostra o país de cada host, a quantidade de GPUs, o form factor (SXM ou PCIe) e a interconexão.

Quanto custa por hora a GPU certa?

A precisão muda a conta mais do que qualquer outra escolha. O Llama 3.1 70B precisa de uma B200 em BF16, mas de uma L40S em 4-bit. Segundo a verificação de preços da GPUwithCrypto em 29 de outubro de 2026, os menores preços self-serve sob demanda para essas duas GPUs eram $5.43 e $0.97 por hora: o 4-bit corta o custo por hora em 82%. Com nossos preços, o par custa $4,61/hora e $0,82/hora. Teste a saída em 4-bit com seus próprios prompts antes de fechar. Cada GPU e cada bloco de horas estão na página de preços.