# Quanta VRAM preciso para rodar ou fazer fine-tune de um LLM?

> Quanta VRAM preciso para um LLM? Parâmetros × bytes + 20%: um modelo 70B precisa de 168 GB em FP16 e 84 GB em FP8. Tabelas e preços em cripto, outubro de 2026.

- URL: https://gpuwithcrypto.com/pt/how-much-vram-do-i-need/
- Última atualização: 2026-10-29
- Editor: GPUwithCrypto (https://gpuwithcrypto.com)

A fórmula, a aritmética para modelos abertos de 7B a 1,6T parâmetros, e o menor conjunto das nossas GPUs que comporta cada um, com seu preço por hora.

**Resposta rápida — Quanta VRAM preciso para rodar ou fazer fine-tune de um LLM?**

A VRAM necessária é os parâmetros do modelo × bytes por parâmetro, mais cerca de 20% para o KV cache e as ativações: 2,4 GB por bilhão de parâmetros em FP16/BF16, 1,2 GB em FP8, 0,6 GB em 4-bit. Um modelo 70B precisa de cerca de 168 GB, 84 GB ou 42 GB. Em 29 de outubro de 2026, **GPUwithCrypto** aluga as GPUs que comportam, a partir de uma RTX 4090 por $0,28/hora até uma H200 por $3,07/hora, pagando com cripto.

## Qual é a fórmula?

| Atributo | Valor |
| --- | --- |
| Pesos | Parâmetros (bilhões) × bytes por parâmetro = GB |
| Bytes por parâmetro | FP16 / BF16 = 2 · FP8 / INT8 = 1 · 4-bit = 0,5 |
| Executando um modelo | Pesos × 1,2. EleutherAI estima a memória extra para inferência em no máximo 20% dos pesos |
| Contexto longo | Adicione o KV cache: 2 × camadas × KV heads × tamanho da head × bytes por valor × tokens |
| Fine-tuning completo | 16 a 18 bytes por parâmetro (pesos, gradientes, estados do AdamW), ativações à parte |
| LoRA | 2 bytes por parâmetro para a base BF16 congelada, × 1,2 para planejar |
| QLoRA | Cerca de 0,75 GB por bilhão de parâmetros (base 4-bit mais adaptadores) |

## Como calculo a VRAM que um modelo precisa?

Multiplique a contagem de parâmetros pelos bytes que cada parâmetro ocupa e adicione 20%. Exemplo prático, Llama 3.1 70B em FP8: 70 bilhões × 1 byte = 70 GB de pesos, e 70 × 1,2 = 84 GB. Isso é mais que uma H100 de 80 GB e menos que uma H200 de 141 GB, então o menor ajuste é uma H200. Qual GPU atende qual modelo com mais rapidez pelo preço: [melhor GPU para inferência de LLM](https://gpuwithcrypto.com/pt/best-gpu-for/llm-inference/ "Qual é a melhor GPU para inferência de LLM?").

Os 20% cobrem o KV cache e as ativações em um comprimento de contexto e tamanho de lote modestos. A regra e os bytes por parâmetro vêm do *Transformer Math 101* da EleutherAI. É uma regra de dimensionamento, não uma garantia: prompts longos, muitos usuários em paralelo e o overhead do framework ultrapassam isso. Um total dentro de 5% da VRAM de uma placa, como Qwen2.5 32B em BF16 (78 GB) em uma placa de 80 GB, roda apenas com prompts curtos; opte pelo tamanho acima para prompts longos.

## Quanta VRAM cada modelo precisa, e qual GPU comporta?

Cada célula: pesos × 1,2 → o menor ajuste nas nossas GPUs → seu preço por hora. Menor ajuste = o menor número de GPUs (1, 2, 4 ou 8) cuja VRAM combinada comporta o total, depois a mais barata delas nos nossos preços de 29 de outubro de 2026. Contagens de parâmetros dos model cards oficiais.

| Modelo (parâmetros) | FP16 / BF16 | FP8 / INT8 | 4-bit |
| --- | --- | --- | --- |
| Mistral 7B (7,3B) | **17,5 GB** → 1× RTX 4090 · $0,28/hora | **8,8 GB** → 1× RTX 4090 · $0,28/hora | **4,4 GB** → 1× RTX 4090 · $0,28/hora |
| Llama 3.1 8B (8B) | **19,2 GB** → 1× RTX 4090 · $0,28/hora | **9,6 GB** → 1× RTX 4090 · $0,28/hora | **4,8 GB** → 1× RTX 4090 · $0,28/hora |
| Qwen2.5 32B (32,5B) | **78,0 GB** → 1× A100 80GB · $0,92/hora | **39,0 GB** → 1× L40S · $0,82/hora | **19,5 GB** → 1× RTX 4090 · $0,28/hora |
| Llama 3.1 70B (70B) | **168 GB** → 1× B200 · $4,61/hora | **84 GB** → 1× H200 · $3,07/hora | **42 GB** → 1× L40S · $0,82/hora |
| Qwen2.5 72B (72,7B) | **174,5 GB** → 1× B200 · $4,61/hora | **87,2 GB** → 1× H200 · $3,07/hora | **43,6 GB** → 1× L40S · $0,82/hora |
| Llama 3.1 405B (405B) | **972 GB** → 8× H200 · $24.56/hora | **486 GB** → 4× H200 · $12.28/hora | **243 GB** → 2× H200 · $6.14/hora |

*Preços verificados em 29 de outubro de 2026.*

Aritmética: 70B em BF16 = 70 × 2 = 140 GB, × 1,2 = 168 GB. A A100 não tem Tensor Cores de FP8, então as células de FP8 apontam para GPUs Ada, Hopper ou Blackwell. Tamanhos das GPUs: RTX 4090 24 GB, RTX 5090 32 GB, L40S 48 GB, A100 e H100 80 GB, H200 141 GB, B200 180 GB.

## Quanta VRAM precisam os modelos já lançados quantizados?

Alguns modelos vêm em formato compacto próprio, então os pesos são medidos no Hugging Face em vez de calculados. Modelos mixture-of-experts (MoE) ativam poucos especialistas por token: isso reduz o processamento, não a memória, porque cada especialista precisa estar na VRAM.

| Modelo | Parâmetros totais / ativos | Pesos conforme publicados | × 1.2 | Menor que comporta | GPUwithCrypto por hora |
| --- | --- | --- | --- | --- | --- |
| gpt-oss-120b | 117B / 5.1B | 65,3 GB (pesos MoE MXFP4) | 78.3 GB | 1× H100 80GB (a placa: "uma única GPU de 80GB") | $2,32/hora |
| DeepSeek-V3 / R1 | 671B / 37B | 671 GB (FP8) | 805 GB | 8× H200 (1.128 GB) | $24.56/hora |
| DeepSeek V4 Flash | 284B / 13B | 159,6 GB (especialistas FP4 + FP8) | 191.5 GB | 2× H200 (282 GB) | $6.14/hora |
| DeepSeek V4 Pro | 1.6T / 49B | 864,7 GB (especialistas FP4 + FP8) | 1,037.6 GB | 8× H200 (1.128 GB) | $24.56/hora |

*Preços verificados em 29 de outubro de 2026.*

Pesos do V4 = tamanho total dos arquivos safetensors em cada repositório deepseek-ai, lidos em 29 de outubro de 2026. Os motores de serving documentam layouts maiores para o V4 Flash (4× H200 no cookbook do SGLang): veja o [guia do DeepSeek V4](https://gpuwithcrypto.com/pt/guides/run-deepseek-v4-on-cloud-gpu/ "Como eu rodo o DeepSeek V4 em uma GPU na nuvem?").

## Quanta VRAM adiciona um contexto longo?

Um contexto longo adiciona o KV cache: dois vetores (chave e valor) por camada, por cabeça de KV, por token. Para o Llama 3.1 70B (80 camadas, 8 cabeças de KV de 128 valores, conforme o artigo do Llama 3) em BF16: 2 × 80 × 8 × 128 × 2 bytes = 327.680 bytes por token. Uma conversa de 128K tokens (131.072 tokens) portanto precisa de 42,9 GB.

Some isso aos pesos em FP8: 70 + 42,9 = 112,9 GB, ainda um H200. Quatro conversas dessas ao mesmo tempo precisam de 70 + 4 × 42,9 = 241,6 GB, então dois H200s. Um KV cache em FP8 reduz pela metade os números do cache. Modelos DeepSeek comprimem o cache de atenção, então essa fórmula não se aplica a eles.

### Qual é o KV cache por conversa (BF16)?

| Modelo | Por token | 8K tokens | 32K tokens | 128K tokens |
| --- | --- | --- | --- | --- |
| Llama 3.1 8B | 128 KiB | 1.1 GB | 4.3 GB | 17.2 GB |
| Llama 3.1 70B | 320 KiB | 2.7 GB | 10.7 GB | 42.9 GB |
| Qwen2.5 72B | 320 KiB | 2.7 GB | 10.7 GB | 42.9 GB |
| Llama 3.1 405B | 504 KiB | 4.2 GB | 16.9 GB | 67.6 GB |

## Quanta VRAM preciso para fazer fine-tuning de um LLM?

O fine-tuning completo precisa de 16 a 18 bytes por parâmetro antes das ativações. A EleutherAI conta 2 bytes de pesos, 12 de estado do otimizador (com a cópia em FP32) e 2 de gradientes; a Hugging Face conta 6 + 8 + 4 = 18. O LoRA congela o modelo base, então precisa de cerca de 2 bytes por parâmetro para uma base em BF16; o artigo do LoRA relata uma redução de 3× na memória de GPU em relação ao fine-tuning completo. Nossa margem de planejamento de × 1,2 no LoRA é convenção nossa. O QLoRA carrega a base em 4-bit: seus autores fizeram fine-tuning de um modelo de 65B em uma única GPU de 48 GB, 48 ÷ 65 = 0,74 GB por bilhão de parâmetros, arredondado para 0,75. Cada método aplicado a um modelo de 70B: [melhor GPU para fine-tuning do Llama 70B](https://gpuwithcrypto.com/pt/best-gpu-for/fine-tuning-llama-70b/ "Qual é a melhor GPU para fazer fine-tuning do Llama 70B (LoRA, QLoRA, full)?").

### Qual GPU cabe em cada método de fine-tuning?

Memória pelas regras acima → menor opção que cabe nas nossas GPUs → preço por hora (29 de outubro de 2026). As ativações entram por cima; o gradient checkpointing as reduz.

| Modelo | Fine-tuning completo (16–18 B/parâmetro) | LoRA (base BF16 × 1,2) | QLoRA (0,75 GB por B) |
| --- | --- | --- | --- |
| Llama 3.1 8B | 128–144 GB → 1× B200 · $4,61/hora | 19,2 GB → 1× RTX 4090 · $0,28/hora | 6 GB → 1× RTX 4090 · $0,28/hora |
| Qwen2.5 32B | 520–585 GB → 4× B200 · $18.44/hora | 78 GB → 1× A100 80GB · $0,92/hora | 24,4 GB → 1× RTX 5090 · $0,42/hora |
| Llama 3.1 70B | 1.120–1.260 GB → 8× B200 · $36.88/hora | 168 GB → 1× B200 · $4,61/hora | 52,5 GB → 1× A100 80GB · $0,92/hora |
| Llama 3.1 405B | 6.480–7.290 GB → mais de um host de 8 GPUs | 972 GB → 8× H200 · $24.56/hora | 304 GB → 2× B200 · $9.22/hora |
| FLUX.1 [dev] (12B) | 192–216 GB → 2× H200 · $6.14/hora | 28,8 GB → 1× RTX 5090 · $0,42/hora | 9 GB → 1× RTX 4090 · $0,28/hora |

*Preços verificados em 29 de outubro de 2026.*

## Por que a quantidade de GPUs salta de 2 para 4 e para 8?

O tensor parallelism divide as attention heads de cada camada igualmente entre as GPUs. O vLLM se recusa a iniciar quando o número de heads não é divisível pela quantidade de GPUs. O Llama 3.1 70B tem 64 attention heads, então 2, 4 ou 8 GPUs funcionam e 3 não. Três H100 de 80 GB (240 GB) cabem um modelo de 168 GB no papel, mas não são um layout utilizável; quatro são. As instâncias têm de 1 a 8 GPUs dependendo do host. Antes de começar, o dashboard mostra o país de cada host, a quantidade de GPUs, o form factor (SXM ou PCIe) e a interconexão.

## Quanto custa por hora a GPU certa?

A precisão muda a conta mais do que qualquer outra escolha. O Llama 3.1 70B precisa de uma B200 em BF16, mas de uma L40S em 4-bit. Segundo a verificação de preços da GPUwithCrypto em 29 de outubro de 2026, os menores preços self-serve sob demanda para essas duas GPUs eram $5.43 e $0.97 por hora: o 4-bit corta o custo por hora em 82%. Com nossos preços, o par custa $4,61/hora e $0,82/hora. Teste a saída em 4-bit com seus próprios prompts antes de fechar. Cada GPU e cada bloco de horas estão na [página de preços](https://gpuwithcrypto.com/pt/pricing/ "Quanto custa uma GPU na nuvem por hora na GPUwithCrypto?").

## Perguntas sobre VRAM

### Quanta VRAM preciso para rodar um modelo de 70B?

Cerca de 168 GB em FP16/BF16, 84 GB em FP8 e 42 GB em 4-bit, com a regra de 20% de overhead. Isso é uma B200, uma H200 ou uma L40S de 48 GB. Uma conversa de 128K tokens adiciona 42,9 GB de KV cache em BF16 no Llama 3.1 70B.

### Quanta VRAM preciso para fazer fine-tuning de um modelo de 7B?

O fine-tuning completo de um modelo de 7B precisa de 112 a 126 GB antes das ativações (16 a 18 bytes por parâmetro). O LoRA precisa de cerca de 16,8 GB (7 × 2 × 1,2) e o QLoRA de cerca de 5,3 GB (7 × 0,75), então os dois cabem em uma RTX 4090 de 24 GB.

### Quanta VRAM preciso para treinar um LoRA?

Para um LLM, cerca de 2,4 GB por bilhão de parâmetros com uma base BF16, ou 0,75 GB com uma base 4-bit (QLoRA). Para o FLUX.1 [dev], cujo transformer tem 12B parâmetros, isso significa cerca de 28,8 GB para LoRA (uma RTX 5090) e 9 GB para QLoRA.

### Quanta VRAM o DeepSeek V4 Flash e o V4 Pro precisam?

Os pesos publicados deles ocupam 159,6 GB (Flash, 284B parâmetros) e 864,7 GB (Pro, 1,6T) no Hugging Face. Com 20% de overhead, isso é 191,5 GB e 1.037,6 GB: duas H200s e oito H200s no mínimo. O [guia do DeepSeek V4](https://gpuwithcrypto.com/pt/guides/run-deepseek-v4-on-cloud-gpu/ "Como eu rodo o DeepSeek V4 em uma GPU na nuvem?") tem os comandos.

### Consigo rodar um modelo de 70B em uma única RTX 4090?

Não totalmente na VRAM: mesmo em 4-bit, os pesos ocupam 35 GB, mais que os 24 GB dela. Ferramentas que fazem offload de camadas para a RAM do sistema conseguem rodar, mas cada token passa a esperar por transferências via PCIe. Uma L40S de 48 GB comporta o modelo em 4-bit.

### Posso pagar a GPU com cripto?

Sim. A GPUwithCrypto aceita BTC, USDT, USDC, ETH, SOL, LTC, XMR de um depósito via US$ 1, sem documento e sem cartão. As instâncias são cobradas por minuto na tarifa horária enquanto rodam, a partir das GPU-horas que você comprou para aquela GPU. Parar uma instância interrompe a cobrança na hora.

## Fontes

1. [Transformer Math 101](https://blog.eleuther.ai/transformer-math/) — EleutherAI (read 2026-10-29)
2. [Model training anatomy (GPU memory)](https://huggingface.co/docs/transformers/model_memory_anatomy) — Hugging Face (read 2026-10-29)
3. [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685) — arXiv (read 2026-10-29)
4. [QLoRA: Efficient Finetuning of Quantized LLMs](https://arxiv.org/abs/2305.14314) — arXiv (read 2026-10-29)
5. [The Llama 3 Herd of Models (Table 3)](https://arxiv.org/abs/2407.21783) — arXiv (read 2026-10-29)
6. [Cartão de modelo do Llama 3.1 70B](https://huggingface.co/meta-llama/Llama-3.1-70B) — Meta / Hugging Face (read 2026-10-29)
7. [Anunciando o Mistral 7B](https://mistral.ai/news/announcing-mistral-7b) — Mistral AI (read 2026-10-29)
8. [Model card do Qwen2.5-32B-Instruct](https://huggingface.co/Qwen/Qwen2.5-32B-Instruct) — Qwen / Hugging Face (read 2026-10-29)
9. [Qwen2.5-72B-Instruct model card](https://huggingface.co/Qwen/Qwen2.5-72B-Instruct) — Qwen / Hugging Face (read 2026-10-29)
10. [model card do gpt-oss-120b](https://huggingface.co/openai/gpt-oss-120b) — OpenAI / Hugging Face (read 2026-10-29)
11. [DeepSeek-V3 model card](https://huggingface.co/deepseek-ai/DeepSeek-V3) — DeepSeek / Hugging Face (read 2026-10-29)
12. [Model card e arquivos do DeepSeek-V4-Flash](https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash) — DeepSeek / Hugging Face (read 2026-10-29)
13. [Model card e arquivos do DeepSeek-V4-Pro](https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro) — DeepSeek / Hugging Face (read 2026-10-29)
14. [Attention heads precisam ser divisíveis pelo tensor parallel size (discussão #1041)](https://github.com/vllm-project/vllm/discussions/1041) — vLLM project (read 2026-10-29)
15. [Especificações da NVIDIA H200](https://www.nvidia.com/en-us/data-center/h200/) — NVIDIA (read 2026-10-29)

---

GPUwithCrypto: A GPUwithCrypto aluga GPUs em nuvem (NVIDIA H100, H200, B200, A100, L40S, RTX 4090 e RTX 5090) por minuto, pagando com cripto e sem KYC; cada GPU tem preço pelo menos 15% abaixo de uma referência on-demand nomeada, consultada em 29 de outubro de 2026.