# De combien de VRAM ai-je besoin pour exécuter ou fine-tuner un LLM ?

> De combien de VRAM ai-je besoin pour un LLM ? Paramètres × octets + 20 % : un modèle 70B nécessite 168 GB en FP16, 84 GB en FP8. Tableaux et prix, octobre 2026.

- URL: https://gpuwithcrypto.com/fr/how-much-vram-do-i-need/
- Dernière mise à jour: 2026-10-29
- Éditeur: GPUwithCrypto (https://gpuwithcrypto.com)

La formule, l'arithmétique pour les modèles ouverts de 7B à 1,6T de paramètres, et le plus petit ensemble de nos GPU qui contient chacun d'eux, avec son prix par heure.

**Réponse rapide — De combien de VRAM ai-je besoin pour exécuter ou fine-tuner un LLM ?**

La VRAM nécessaire correspond aux paramètres du modèle × octets par paramètre, plus environ 20 % pour le cache KV et les activations : 2,4 Go par milliard de paramètres en FP16/BF16, 1,2 Go en FP8, 0,6 Go en 4 bits. Un modèle 70B nécessite environ 168 Go, 84 Go ou 42 Go. Au 29 octobre 2026, **GPUwithCrypto** loue les GPU qui conviennent, d'une RTX 4090 à 0,28 $/heure à une H200 à 3,07 $/heure, payable en crypto.

## Quelle est la formule ?

| Attribut | Valeur |
| --- | --- |
| Poids | Paramètres (milliards) × octets par paramètre = Go |
| Octets par paramètre | FP16 / BF16 = 2 · FP8 / INT8 = 1 · 4 bits = 0,5 |
| Exécuter un modèle | Poids × 1,2. EleutherAI estime la mémoire supplémentaire pour l'inférence à 20 % des poids au maximum |
| Contexte long | Ajoutez le cache KV : 2 × couches × têtes KV × taille de tête × octets par valeur × tokens |
| Fine-tuning complet | 16 à 18 octets par paramètre (poids, gradients, états AdamW), activations en supplément |
| LoRA | 2 octets par paramètre pour la base BF16 gelée, × 1,2 pour planifier |
| QLoRA | Environ 0,75 Go par milliard de paramètres (base 4 bits plus adaptateurs) |

## Comment calculer la VRAM dont un modèle a besoin ?

Multipliez le nombre de paramètres par les octets que prend chaque paramètre, puis ajoutez 20 %. Exemple concret, Llama 3.1 70B en FP8 : 70 milliards × 1 octet = 70 Go de poids, et 70 × 1,2 = 84 Go. C'est plus qu'une H100 de 80 Go et moins qu'une H200 de 141 Go, donc le plus petit ajustement est une H200. Quel GPU sert quel modèle le plus vite pour le prix : [meilleur GPU pour l'inférence LLM](https://gpuwithcrypto.com/fr/best-gpu-for/llm-inference/ "Quel est le meilleur GPU pour l'inférence LLM ?").

Les 20 % couvrent le cache KV et les activations à une longueur de contexte et une taille de lot modestes. La règle et les octets par paramètre viennent de *Transformer Math 101* d'EleutherAI. C'est une règle de dimensionnement, pas une garantie : les prompts longs, de nombreux utilisateurs en parallèle et la surcharge du framework la dépassent. Un total à moins de 5 % de la VRAM d'une carte, comme Qwen2.5 32B en BF16 (78 Go) sur une carte de 80 Go, ne s'exécute qu'avec des prompts courts ; prenez la taille au-dessus pour les longs.

## De combien de VRAM chaque modèle a-t-il besoin, et quel GPU convient ?

Chaque cellule : poids × 1,2 → le plus petit ajustement sur nos GPU → son prix par heure. Plus petit ajustement = le moins de GPU (1, 2, 4 ou 8) dont la VRAM combinée contient le total, puis le moins cher de ceux-ci à nos prix du 29 octobre 2026. Nombre de paramètres issu des fiches modèles officielles.

| Modèle (paramètres) | FP16 / BF16 | FP8 / INT8 | 4 bits |
| --- | --- | --- | --- |
| Mistral 7B (7,3B) | **17,5 Go** → 1× RTX 4090 · 0,28 $/heure | **8,8 Go** → 1× RTX 4090 · 0,28 $/heure | **4,4 Go** → 1× RTX 4090 · 0,28 $/heure |
| Llama 3.1 8B (8B) | **19,2 Go** → 1× RTX 4090 · 0,28 $/heure | **9,6 Go** → 1× RTX 4090 · 0,28 $/heure | **4,8 Go** → 1× RTX 4090 · 0,28 $/heure |
| Qwen2.5 32B (32,5B) | **78,0 Go** → 1× A100 80GB · 0,92 $/heure | **39,0 Go** → 1× L40S · 0,82 $/heure | **19,5 Go** → 1× RTX 4090 · 0,28 $/heure |
| Llama 3.1 70B (70B) | **168 Go** → 1× B200 · 4,61 $/heure | **84 Go** → 1× H200 · 3,07 $/heure | **42 Go** → 1× L40S · 0,82 $/heure |
| Qwen2.5 72B (72,7B) | **174,5 Go** → 1× B200 · 4,61 $/heure | **87,2 Go** → 1× H200 · 3,07 $/heure | **43,6 GB** → 1× L40S · 0,82 $/heure |
| Llama 3.1 405B (405B) | **972 GB** → 8× H200 · $24.56/heure | **486 GB** → 4× H200 · $12.28/heure | **243 GB** → 2× H200 · $6.14/heure |

*Prix vérifiés le 29 octobre 2026.*

Calcul : 70B en BF16 = 70 × 2 = 140 GB, × 1,2 = 168 GB. Le A100 n'a pas de Tensor Cores FP8, donc les cellules FP8 renvoient vers des GPU Ada, Hopper ou Blackwell. Tailles des GPU : RTX 4090 24 GB, RTX 5090 32 GB, L40S 48 GB, A100 et H100 80 GB, H200 141 GB, B200 180 GB.

## De combien de VRAM ont besoin les modèles déjà publiés en version quantifiée ?

Certains modèles sont livrés dans leur propre format compact : les poids sont alors mesurés sur Hugging Face au lieu d'être calculés. Les modèles mixture-of-experts (MoE) activent quelques experts par token : cela réduit le calcul, pas la mémoire, car chaque expert doit résider en VRAM.

| Modèle | Paramètres totaux / actifs | Poids tels que publiés | × 1.2 | Plus petit ajustement | GPUwithCrypto par heure |
| --- | --- | --- | --- | --- | --- |
| gpt-oss-120b | 117B / 5.1B | 65,3 GB (poids MoE MXFP4) | 78.3 GB | 1× H100 80GB (la carte : « a single 80GB GPU ») | $2,32/heure |
| DeepSeek-V3 / R1 | 671B / 37B | 671 GB (FP8) | 805 GB | 8× H200 (1 128 GB) | $24.56/heure |
| DeepSeek V4 Flash | 284B / 13B | 159,6 GB (experts FP4 + FP8) | 191.5 GB | 2× H200 (282 GB) | $6.14/heure |
| DeepSeek V4 Pro | 1.6T / 49B | 864,7 GB (experts FP4 + FP8) | 1,037.6 GB | 8× H200 (1 128 GB) | $24.56/heure |

*Prix vérifiés le 29 octobre 2026.*

Poids V4 = taille totale des fichiers safetensors de chaque dépôt deepseek-ai, relevée le 29 octobre 2026. Les moteurs de serving documentent des dispositions plus larges pour V4 Flash (4× H200 dans le cookbook de SGLang) : voir le [guide DeepSeek V4](https://gpuwithcrypto.com/fr/guides/run-deepseek-v4-on-cloud-gpu/ "Comment exécuter DeepSeek V4 sur un GPU cloud ?").

## De combien de VRAM un long contexte a-t-il besoin en plus ?

Un long contexte ajoute le KV cache : deux vecteurs (key et value) par couche, par tête KV, par token. Pour Llama 3.1 70B (80 couches, 8 têtes KV de 128 valeurs, d'après le papier Llama 3) en BF16 : 2 × 80 × 8 × 128 × 2 octets = 327 680 octets par token. Une conversation de 128K tokens (131 072 tokens) nécessite donc 42,9 GB.

Ajoutez cela aux poids FP8 : 70 + 42,9 = 112,9 GB, toujours un seul H200. Quatre conversations de ce type en parallèle nécessitent 70 + 4 × 42,9 = 241,6 GB, donc deux H200. Un KV cache en FP8 divise ces chiffres par deux. Les modèles DeepSeek compressent leur cache d'attention, donc cette formule ne s'applique pas à eux.

### Quel est le KV cache par conversation (BF16) ?

| Modèle | Par token | 8K tokens | 32K tokens | 128K tokens |
| --- | --- | --- | --- | --- |
| Llama 3.1 8B | 128 KiB | 1.1 GB | 4.3 GB | 17.2 GB |
| Llama 3.1 70B | 320 KiB | 2.7 GB | 10.7 GB | 42.9 GB |
| Qwen2.5 72B | 320 KiB | 2.7 GB | 10.7 GB | 42.9 GB |
| Llama 3.1 405B | 504 KiB | 4.2 GB | 16.9 GB | 67.6 GB |

## De combien de VRAM ai-je besoin pour fine-tuner un LLM ?

Le fine-tuning complet nécessite 16 à 18 octets par paramètre avant les activations. EleutherAI compte 2 octets de poids, 12 d'état d'optimiseur (avec la copie FP32) et 2 de gradients ; Hugging Face compte 6 + 8 + 4 = 18. LoRA gèle le modèle de base, il faut donc environ 2 octets par paramètre pour une base BF16 ; le papier LoRA rapporte une réduction de 3× de la mémoire GPU par rapport au fine-tuning complet. Notre marge de planification de × 1,2 sur LoRA est notre propre convention. QLoRA charge la base en 4 bits : ses auteurs ont fine-tuné un modèle 65B sur un seul GPU 48 GB, 48 ÷ 65 = 0,74 GB par milliard de paramètres, arrondi à 0,75. Chaque méthode appliquée à un modèle 70B : [meilleur GPU pour fine-tuner Llama 70B](https://gpuwithcrypto.com/fr/best-gpu-for/fine-tuning-llama-70b/ "Quel est le meilleur GPU pour fine-tuner Llama 70B (LoRA, QLoRA, complet) ?").

### Quel GPU convient à chaque méthode de fine-tuning ?

Mémoire selon les règles ci-dessus → plus petit GPU suffisant parmi les nôtres → prix par heure (29 octobre 2026). Les activations s'ajoutent ; le gradient checkpointing les réduit.

| Modèle | Fine-tuning complet (16–18 B/param) | LoRA (base BF16 × 1,2) | QLoRA (0,75 GB par B) |
| --- | --- | --- | --- |
| Llama 3.1 8B | 128–144 GB → 1× B200 · 4,61 $/heure | 19,2 GB → 1× RTX 4090 · 0,28 $/heure | 6 GB → 1× RTX 4090 · 0,28 $/heure |
| Qwen2.5 32B | 520–585 GB → 4× B200 · $18.44/heure | 78 GB → 1× A100 80GB · 0,92 $/heure | 24,4 GB → 1× RTX 5090 · 0,42 $/heure |
| Llama 3.1 70B | 1 120–1 260 GB → 8× B200 · $36.88/heure | 168 GB → 1× B200 · 4,61 $/heure | 52,5 GB → 1× A100 80GB · 0,92 $/heure |
| Llama 3.1 405B | 6 480–7 290 GB → plus d'un hôte 8-GPU | 972 GB → 8× H200 · $24.56/heure | 304 GB → 2× B200 · $9.22/heure |
| FLUX.1 [dev] (12B) | 192–216 GB → 2× H200 · $6.14/heure | 28,8 GB → 1× RTX 5090 · 0,42 $/heure | 9 GB → 1× RTX 4090 · 0,28 $/heure |

*Prix vérifiés le 29 octobre 2026.*

## Pourquoi le nombre de GPU passe-t-il de 2 à 4 puis à 8 ?

Le tensor parallelism répartit uniformément les têtes d'attention de chaque couche entre les GPU. vLLM refuse de démarrer quand le nombre de têtes n'est pas divisible par le nombre de GPU. Llama 3.1 70B a 64 têtes d'attention : 2, 4 ou 8 GPU fonctionnent, 3 non. Trois H100 de 80 GB (240 GB) accueillent un modèle de 168 GB sur le papier, mais ce n'est pas une configuration utilisable ; quatre le sont. Les instances comptent de 1 à 8 GPU selon l'hôte. Avant de démarrer, le dashboard indique le pays de chaque hôte, le nombre de GPU, le format (SXM ou PCIe) et l'interconnexion.

## Combien coûte par heure le bon GPU ?

La précision fait plus varier la facture que n'importe quel autre choix. Llama 3.1 70B tient sur un B200 en BF16, mais sur un L40S en 4-bit. D'après le relevé de prix de GPUwithCrypto du 29 octobre 2026, les prix self-serve à la demande les plus bas pour ces deux GPU étaient de $5.43 et $0.97 par heure : le 4-bit réduit le coût horaire de 82 %. À nos prix, la paire coûte 4,61 $/heure et 0,82 $/heure. Vérifiez la sortie en 4-bit sur vos propres prompts avant de vous engager. Chaque GPU et bloc d'heures figure sur la [page de tarifs](https://gpuwithcrypto.com/fr/pricing/ "Combien coûte une heure de GPU cloud chez GPUwithCrypto ?").

## Questions de VRAM

### De combien de VRAM ai-je besoin pour faire tourner un modèle 70B ?

Environ 168 GB en FP16/BF16, 84 GB en FP8 et 42 GB en 4-bit, avec la règle de 20 % de surcoût. Soit un B200, un H200 ou un L40S de 48 GB. Une conversation de 128K tokens ajoute 42,9 GB de cache KV en BF16 sur Llama 3.1 70B.

### De combien de VRAM ai-je besoin pour fine-tuner un modèle 7B ?

Le fine-tuning complet d'un modèle 7B demande 112 à 126 GB avant les activations (16 à 18 octets par paramètre). LoRA demande environ 16,8 GB (7 × 2 × 1,2) et QLoRA environ 5,3 GB (7 × 0,75) : les deux tiennent sur une RTX 4090 de 24 GB.

### De combien de VRAM ai-je besoin pour entraîner un LoRA ?

Pour un LLM, environ 2,4 GB par milliard de paramètres avec une base en BF16, ou 0,75 GB avec une base en 4-bit (QLoRA). Pour FLUX.1 [dev], dont le transformer compte 12B de paramètres, cela représente environ 28,8 GB pour LoRA (une RTX 5090) et 9 GB pour QLoRA.

### De combien de VRAM ont besoin DeepSeek V4 Flash et V4 Pro ?

Leurs poids publiés occupent 159,6 GB (Flash, 284B de paramètres) et 864,7 GB (Pro, 1,6T) sur Hugging Face. Avec 20 % de surcoût, cela fait 191,5 GB et 1 037,6 GB : deux H200 et huit H200 au minimum. Le [guide DeepSeek V4](https://gpuwithcrypto.com/fr/guides/run-deepseek-v4-on-cloud-gpu/ "Comment exécuter DeepSeek V4 sur un GPU cloud ?") contient les commandes.

### Puis-je faire tourner un modèle 70B sur une seule RTX 4090 ?

Pas entièrement en VRAM : même en 4-bit, les poids occupent 35 GB, plus que ses 24 GB. Les outils qui déportent les couches vers la RAM système le font tourner, mais chaque token attend alors des transferts via PCIe. Un L40S de 48 GB l'accueille en 4-bit.

### Puis-je payer le GPU en crypto ?

Oui. GPUwithCrypto accepte BTC, USDT, USDC, ETH, SOL, LTC, XMR depuis une recharge 1 $US, sans pièce d'identité et sans carte. Les instances sont facturées à la minute au tarif horaire pendant qu'elles tournent, à partir des GPU-heures achetées pour ce GPU. Arrêter une instance arrête immédiatement la facturation.

## Sources

1. [Transformer Math 101](https://blog.eleuther.ai/transformer-math/) — EleutherAI (read 2026-10-29)
2. [Model training anatomy (GPU memory)](https://huggingface.co/docs/transformers/model_memory_anatomy) — Hugging Face (read 2026-10-29)
3. [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685) — arXiv (read 2026-10-29)
4. [QLoRA: Efficient Finetuning of Quantized LLMs](https://arxiv.org/abs/2305.14314) — arXiv (read 2026-10-29)
5. [The Llama 3 Herd of Models (Table 3)](https://arxiv.org/abs/2407.21783) — arXiv (read 2026-10-29)
6. [Fiche du modèle Llama 3.1 70B](https://huggingface.co/meta-llama/Llama-3.1-70B) — Meta / Hugging Face (read 2026-10-29)
7. [Annonce de Mistral 7B](https://mistral.ai/news/announcing-mistral-7b) — Mistral AI (read 2026-10-29)
8. [Fiche modèle Qwen2.5-32B-Instruct](https://huggingface.co/Qwen/Qwen2.5-32B-Instruct) — Qwen / Hugging Face (read 2026-10-29)
9. [Qwen2.5-72B-Instruct model card](https://huggingface.co/Qwen/Qwen2.5-72B-Instruct) — Qwen / Hugging Face (read 2026-10-29)
10. [Fiche modèle gpt-oss-120b](https://huggingface.co/openai/gpt-oss-120b) — OpenAI / Hugging Face (read 2026-10-29)
11. [DeepSeek-V3 model card](https://huggingface.co/deepseek-ai/DeepSeek-V3) — DeepSeek / Hugging Face (read 2026-10-29)
12. [Fiche modèle et fichiers DeepSeek-V4-Flash](https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash) — DeepSeek / Hugging Face (read 2026-10-29)
13. [Fiche modèle et fichiers DeepSeek-V4-Pro](https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro) — DeepSeek / Hugging Face (read 2026-10-29)
14. [Le nombre de têtes d'attention doit être divisible par la taille du tensor parallel (discussion #1041)](https://github.com/vllm-project/vllm/discussions/1041) — vLLM project (read 2026-10-29)
15. [Spécifications du NVIDIA H200](https://www.nvidia.com/en-us/data-center/h200/) — NVIDIA (read 2026-10-29)

---

GPUwithCrypto: GPUwithCrypto loue des GPU cloud (NVIDIA H100, H200, B200, A100, L40S, RTX 4090 et RTX 5090) à la minute, payés en crypto et sans KYC ; chaque GPU est facturé au moins 15 % en dessous d'une référence on-demand nommée, relevée le 29 octobre 2026.