# Wie viel VRAM brauche ich, um ein LLM auszuführen oder zu fine-tunen?

> Wie viel VRAM brauche ich für ein LLM? Parameter × Bytes + 20 %: Ein 70B-Modell braucht 168 GB in FP16, 84 GB in FP8. Tabellen und Preise, Oktober 2026.

- URL: https://gpuwithcrypto.com/de/how-much-vram-do-i-need/
- Zuletzt aktualisiert: 2026-10-29
- Herausgeber: GPUwithCrypto (https://gpuwithcrypto.com)

Die Formel, die Rechnung für offene Modelle von 7B bis 1,6T Parametern und das kleinste Set unserer GPUs, das jedes davon fasst, mit seinem Preis pro Stunde.

**Kurze Antwort — Wie viel VRAM brauche ich, um ein LLM auszuführen oder zu fine-tunen?**

Der VRAM, den Sie benötigen, ergibt sich aus den Parametern des Modells × Bytes pro Parameter, plus etwa 20 % für den KV-Cache und die Aktivierungen: 2,4 GB pro Milliarde Parameter in FP16/BF16, 1,2 GB in FP8, 0,6 GB in 4-Bit. Ein 70B-Modell benötigt etwa 168 GB, 84 GB oder 42 GB. Stand 29. Oktober 2026 vermietet **GPUwithCrypto** die passenden GPUs, von einer RTX 4090 für $0.28/Stunde bis zu einer H200 für $3.07/Stunde, bezahlbar mit Krypto.

## Wie lautet die Formel?

| Attribut | Wert |
| --- | --- |
| Gewichte | Parameter (in Milliarden) × Bytes pro Parameter = GB |
| Bytes pro Parameter | FP16 / BF16 = 2 · FP8 / INT8 = 1 · 4-Bit = 0,5 |
| Ein Modell ausführen | Gewichte × 1,2. Laut EleutherAI beträgt der zusätzliche Speicher für Inferenz höchstens 20 % der Gewichte |
| Langer Kontext | Den KV-Cache addieren: 2 × Layers × KV-Heads × Head-Größe × Bytes pro Wert × Tokens |
| Vollständiges Fine-Tuning | 16 bis 18 Bytes pro Parameter (Gewichte, Gradienten, AdamW-Zustände), Aktivierungen zusätzlich |
| LoRA | 2 Bytes pro Parameter für die eingefrorene BF16-Basis, × 1,2 zum Planen |
| QLoRA | Etwa 0,75 GB pro Milliarde Parameter (4-Bit-Basis plus Adapter) |

## Wie berechne ich den VRAM, den ein Modell benötigt?

Multiplizieren Sie die Parameteranzahl mit den Bytes, die jeder Parameter belegt, und addieren Sie dann 20 %. Rechenbeispiel, Llama 3.1 70B in FP8: 70 Milliarden × 1 Byte = 70 GB Gewichte, und 70 × 1,2 = 84 GB. Das ist mehr als eine 80-GB-H100 und weniger als eine 141-GB-H200, also ist die kleinste passende Lösung eine H200. Welche GPU welches Modell am schnellsten fürs Geld bedient: [beste GPU für LLM-Inferenz](https://gpuwithcrypto.com/de/best-gpu-for/llm-inference/ "Was ist die beste GPU für LLM-Inferenz?").

Die 20 % decken den KV-Cache und die Aktivierungen bei mäßiger Kontextlänge und Batch-Größe ab. Die Regel und die Bytes pro Parameter stammen aus *Transformer Math 101* von EleutherAI. Es ist eine Dimensionierungsregel, keine Garantie: Lange Prompts, viele parallele Nutzer und Framework-Overhead gehen darüber hinaus. Eine Summe innerhalb von 5 % des VRAM einer Karte, etwa Qwen2.5 32B in BF16 (78 GB) auf einer 80-GB-Karte, läuft nur mit kurzen Prompts; nehmen Sie für lange die nächstgrößere Variante.

## Wie viel VRAM benötigt jedes Modell, und welche GPU passt?

Jede Zelle: Gewichte × 1,2 → die kleinste passende Lösung auf unseren GPUs → ihr Preis pro Stunde. Kleinste passende Lösung = die wenigsten GPUs (1, 2, 4 oder 8), deren kombinierter VRAM die Summe fasst, dann die günstigste davon zu unseren Preisen vom 29. Oktober 2026. Parameteranzahlen aus den offiziellen Model Cards.

| Modell (Parameter) | FP16 / BF16 | FP8 / INT8 | 4-Bit |
| --- | --- | --- | --- |
| Mistral 7B (7,3B) | **17,5 GB** → 1× RTX 4090 · $0.28/Stunde | **8,8 GB** → 1× RTX 4090 · $0.28/Stunde | **4,4 GB** → 1× RTX 4090 · $0.28/Stunde |
| Llama 3.1 8B (8B) | **19,2 GB** → 1× RTX 4090 · $0.28/Stunde | **9,6 GB** → 1× RTX 4090 · $0.28/Stunde | **4,8 GB** → 1× RTX 4090 · $0.28/Stunde |
| Qwen2.5 32B (32,5B) | **78,0 GB** → 1× A100 80GB · $0.92/Stunde | **39,0 GB** → 1× L40S · $0.82/Stunde | **19,5 GB** → 1× RTX 4090 · $0.28/Stunde |
| Llama 3.1 70B (70B) | **168 GB** → 1× B200 · $4.61/Stunde | **84 GB** → 1× H200 · $3.07/Stunde | **42 GB** → 1× L40S · $0.82/Stunde |
| Qwen2.5 72B (72,7B) | **174,5 GB** → 1× B200 · $4.61/Stunde | **87,2 GB** → 1× H200 · $3.07/Stunde | **43,6 GB** → 1× L40S · $0.82/Stunde |
| Llama 3.1 405B (405B) | **972 GB** → 8× H200 · $24.56/Stunde | **486 GB** → 4× H200 · $12.28/Stunde | **243 GB** → 2× H200 · $6.14/Stunde |

*Preise geprüft am 29. Oktober 2026.*

Rechnung: 70B in BF16 = 70 × 2 = 140 GB, × 1,2 = 168 GB. Die A100 hat keine FP8 Tensor Cores, daher verweisen FP8-Zellen auf Ada-, Hopper- oder Blackwell-GPUs. GPU-Größen: RTX 4090 24 GB, RTX 5090 32 GB, L40S 48 GB, A100 und H100 80 GB, H200 141 GB, B200 180 GB.

## Wie viel VRAM brauchen bereits quantisiert veröffentlichte Modelle?

Manche Modelle erscheinen in einem eigenen kompakten Format, daher werden die Gewichte auf Hugging Face gemessen statt berechnet. Mixture-of-Experts-Modelle (MoE) aktivieren pro Token nur wenige Experten: Das senkt den Rechenaufwand, nicht den Speicher, denn jeder Experte muss im VRAM liegen.

| Modell | Parameter gesamt / aktiv | Gewichte wie veröffentlicht | × 1.2 | Kleinste passende GPU | GPUwithCrypto pro Stunde |
| --- | --- | --- | --- | --- | --- |
| gpt-oss-120b | 117B / 5.1B | 65,3 GB (MXFP4-MoE-Gewichte) | 78.3 GB | 1× H100 80GB (die Karte: „a single 80GB GPU“) | $2.32/Stunde |
| DeepSeek-V3 / R1 | 671B / 37B | 671 GB (FP8) | 805 GB | 8× H200 (1.128 GB) | $24.56/Stunde |
| DeepSeek V4 Flash | 284B / 13B | 159,6 GB (FP4-Experten + FP8) | 191.5 GB | 2× H200 (282 GB) | $6.14/Stunde |
| DeepSeek V4 Pro | 1.6T / 49B | 864,7 GB (FP4-Experten + FP8) | 1,037.6 GB | 8× H200 (1.128 GB) | $24.56/Stunde |

*Preise geprüft am 29. Oktober 2026.*

V4-Gewichte = Gesamtgröße der safetensors-Dateien in jedem deepseek-ai-Repository, gelesen am 29. Oktober 2026. Serving-Engines dokumentieren größere Layouts für V4 Flash (4× H200 in SGLangs Cookbook): siehe den [DeepSeek-V4-Leitfaden](https://gpuwithcrypto.com/de/guides/run-deepseek-v4-on-cloud-gpu/ "Wie führe ich DeepSeek V4 auf einer Cloud-GPU aus?").

## Wie viel VRAM kommt bei langem Kontext hinzu?

Ein langer Kontext fügt den KV-Cache hinzu: zwei Vektoren (Key und Value) pro Layer, pro KV-Head, pro Token. Für Llama 3.1 70B (80 Layer, 8 KV-Heads mit 128 Werten, laut Llama-3-Paper) in BF16: 2 × 80 × 8 × 128 × 2 Byte = 327.680 Byte pro Token. Eine Konversation mit 128K Tokens (131.072 Tokens) braucht daher 42,9 GB.

Rechnen Sie das zu den FP8-Gewichten: 70 + 42,9 = 112,9 GB, immer noch eine H200. Vier solcher Konversationen gleichzeitig brauchen 70 + 4 × 42,9 = 241,6 GB, also zwei H200. Ein FP8-KV-Cache halbiert die Cache-Werte. DeepSeek-Modelle komprimieren ihren Attention-Cache, daher gilt diese Formel für sie nicht.

### Wie groß ist der KV-Cache pro Konversation (BF16)?

| Modell | Pro Token | 8K Tokens | 32K Tokens | 128K Tokens |
| --- | --- | --- | --- | --- |
| Llama 3.1 8B | 128 KiB | 1.1 GB | 4.3 GB | 17.2 GB |
| Llama 3.1 70B | 320 KiB | 2.7 GB | 10.7 GB | 42.9 GB |
| Qwen2.5 72B | 320 KiB | 2.7 GB | 10.7 GB | 42.9 GB |
| Llama 3.1 405B | 504 KiB | 4.2 GB | 16.9 GB | 67.6 GB |

## Wie viel VRAM brauche ich zum Fine-Tuning eines LLM?

Volles Fine-Tuning braucht 16 bis 18 Byte pro Parameter, bevor Aktivierungen hinzukommen. EleutherAI zählt 2 Byte für Gewichte, 12 für den Optimizer-State (mit der FP32-Kopie) und 2 für Gradienten; Hugging Face zählt 6 + 8 + 4 = 18. LoRA friert das Basismodell ein und braucht daher etwa 2 Byte pro Parameter für eine BF16-Basis; das LoRA-Paper berichtet von einem 3× geringeren GPU-Speicher gegenüber vollem Fine-Tuning. Unser Planungspuffer von × 1,2 bei LoRA ist unsere eigene Konvention. QLoRA lädt die Basis in 4-Bit: Die Autoren haben ein 65B-Modell auf einer einzigen 48-GB-GPU fine-getunt, 48 ÷ 65 = 0,74 GB pro Milliarde Parameter, gerundet auf 0,75. Jede Methode angewandt auf ein 70B-Modell: [beste GPU zum Fine-Tuning von Llama 70B](https://gpuwithcrypto.com/de/best-gpu-for/fine-tuning-llama-70b/ "Welche ist die beste GPU zum Fine-Tuning von Llama 70B (LoRA, QLoRA, Full)?").

### Welche GPU passt zu welcher Fine-Tuning-Methode?

Speicher nach den obigen Regeln → kleinste passende auf unseren GPUs → Preis pro Stunde (29. Oktober 2026). Aktivierungen kommen obendrauf; Gradient Checkpointing reduziert sie.

| Modell | Volles Fine-Tuning (16–18 B/Param.) | LoRA (BF16-Basis × 1,2) | QLoRA (0,75 GB pro B) |
| --- | --- | --- | --- |
| Llama 3.1 8B | 128–144 GB → 1× B200 · $4.61/Stunde | 19,2 GB → 1× RTX 4090 · $0.28/Stunde | 6 GB → 1× RTX 4090 · $0.28/Stunde |
| Qwen2.5 32B | 520–585 GB → 4× B200 · $18.44/Stunde | 78 GB → 1× A100 80GB · $0.92/Stunde | 24,4 GB → 1× RTX 5090 · $0.42/Stunde |
| Llama 3.1 70B | 1.120–1.260 GB → 8× B200 · $36.88/Stunde | 168 GB → 1× B200 · $4.61/Stunde | 52,5 GB → 1× A100 80GB · $0.92/Stunde |
| Llama 3.1 405B | 6.480–7.290 GB → mehr als ein 8-GPU-Host | 972 GB → 8× H200 · $24.56/Stunde | 304 GB → 2× B200 · $9.22/Stunde |
| FLUX.1 [dev] (12B) | 192–216 GB → 2× H200 · $6.14/Stunde | 28,8 GB → 1× RTX 5090 · $0.42/Stunde | 9 GB → 1× RTX 4090 · $0.28/Stunde |

*Preise geprüft am 29. Oktober 2026.*

## Warum springen die GPU-Anzahlen von 2 auf 4 auf 8?

Tensor-Parallelismus verteilt die Attention-Heads jeder Schicht gleichmäßig auf die GPUs. vLLM startet nicht, wenn die Anzahl der Heads nicht durch die Anzahl der GPUs teilbar ist. Llama 3.1 70B hat 64 Attention-Heads, also funktionieren 2, 4 oder 8 GPUs und 3 nicht. Drei H100 mit 80 GB (240 GB) fassen ein 168-GB-Modell auf dem Papier, sind aber kein nutzbares Layout; vier sind es. Instanzen haben 1 bis 8 GPUs je nach Host. Vor dem Start zeigt das Dashboard das Land, die GPU-Anzahl, das Formfaktor (SXM oder PCIe) und die Interconnect-Verbindung jedes Hosts.

## Wie viel kostet die richtige GPU pro Stunde?

Die Präzision verändert die Rechnung stärker als jede andere Entscheidung. Llama 3.1 70B braucht eine B200 in BF16, aber eine L40S in 4-Bit. Laut GPUwithCryptos Preisprüfung vom 29. Oktober 2026 lagen die niedrigsten Self-Serve-On-Demand-Preise für diese beiden GPUs bei $5.43 und $0.97 pro Stunde: 4-Bit senkt die Stundenkosten um 82 %. Zu unseren Preisen kostet das Paar $4.61/Stunde und $0.82/Stunde. Prüfen Sie die 4-Bit-Ausgabe mit Ihren eigenen Prompts, bevor Sie sich festlegen. Jede GPU und jeder Stundenblock steht auf der [Preisseite](https://gpuwithcrypto.com/de/pricing/ "Was kostet eine Cloud-GPU pro Stunde bei GPUwithCrypto?").

## VRAM-Fragen

### Wie viel VRAM brauche ich, um ein 70B-Modell auszuführen?

Etwa 168 GB in FP16/BF16, 84 GB in FP8 und 42 GB in 4-Bit, mit der 20-%-Overhead-Regel. Das ist eine B200, eine H200 oder eine L40S mit 48 GB. Eine Konversation mit 128K Tokens fügt bei Llama 3.1 70B 42,9 GB BF16-KV-Cache hinzu.

### Wie viel VRAM brauche ich, um ein 7B-Modell zu fine-tunen?

Volles Fine-Tuning eines 7B-Modells braucht 112 bis 126 GB vor den Aktivierungen (16 bis 18 Bytes pro Parameter). LoRA braucht etwa 16,8 GB (7 × 2 × 1,2) und QLoRA etwa 5,3 GB (7 × 0,75), also passen beide auf eine RTX 4090 mit 24 GB.

### Wie viel VRAM brauche ich, um eine LoRA zu trainieren?

Für ein LLM etwa 2,4 GB pro Milliarde Parameter mit einer BF16-Basis oder 0,75 GB mit einer 4-Bit-Basis (QLoRA). Für FLUX.1 [dev], dessen Transformer 12B Parameter hat, bedeutet das etwa 28,8 GB für LoRA (eine RTX 5090) und 9 GB für QLoRA.

### Wie viel VRAM brauchen DeepSeek V4 Flash und V4 Pro?

Ihre veröffentlichten Gewichte belegen 159,6 GB (Flash, 284B Parameter) und 864,7 GB (Pro, 1,6T) auf Hugging Face. Mit 20 % Overhead sind das 191,5 GB und 1.037,6 GB: mindestens zwei H200 und acht H200. Der [DeepSeek V4-Leitfaden](https://gpuwithcrypto.com/de/guides/run-deepseek-v4-on-cloud-gpu/ "Wie führe ich DeepSeek V4 auf einer Cloud-GPU aus?") enthält die Befehle.

### Kann ich ein 70B-Modell auf einer RTX 4090 ausführen?

Nicht vollständig im VRAM: selbst in 4-Bit belegen die Gewichte 35 GB, mehr als ihre 24 GB. Tools, die Layer in den System-RAM auslagern, führen es aus, aber jedes Token wartet dann auf Transfers über PCIe. Eine L40S mit 48 GB fasst es in 4-Bit.

### Kann ich die GPU mit Krypto bezahlen?

Ja. GPUwithCrypto nimmt BTC, USDT, USDC, ETH, SOL, LTC, XMR aus einem 1 $-Guthaben, ohne ID und ohne Karte. Instanzen werden pro Minute zum Stundensatz abgerechnet, solange sie laufen, aus den GPU-Stunden, die Sie für diese GPU gekauft haben. Das Stoppen einer Instanz beendet die Abrechnung sofort.

## Quellen

1. [Transformer Math 101](https://blog.eleuther.ai/transformer-math/) — EleutherAI (read 2026-10-29)
2. [Model training anatomy (GPU memory)](https://huggingface.co/docs/transformers/model_memory_anatomy) — Hugging Face (read 2026-10-29)
3. [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685) — arXiv (read 2026-10-29)
4. [QLoRA: Efficient Finetuning of Quantized LLMs](https://arxiv.org/abs/2305.14314) — arXiv (read 2026-10-29)
5. [The Llama 3 Herd of Models (Tabelle 3)](https://arxiv.org/abs/2407.21783) — arXiv (read 2026-10-29)
6. [Llama 3.1 70B Modellkarte](https://huggingface.co/meta-llama/Llama-3.1-70B) — Meta / Hugging Face (read 2026-10-29)
7. [Mistral 7B angekündigt](https://mistral.ai/news/announcing-mistral-7b) — Mistral AI (read 2026-10-29)
8. [Qwen2.5-32B-Instruct Model Card](https://huggingface.co/Qwen/Qwen2.5-32B-Instruct) — Qwen / Hugging Face (read 2026-10-29)
9. [Qwen2.5-72B-Instruct Model Card](https://huggingface.co/Qwen/Qwen2.5-72B-Instruct) — Qwen / Hugging Face (read 2026-10-29)
10. [gpt-oss-120b Model Card](https://huggingface.co/openai/gpt-oss-120b) — OpenAI / Hugging Face (read 2026-10-29)
11. [DeepSeek-V3 Model Card](https://huggingface.co/deepseek-ai/DeepSeek-V3) — DeepSeek / Hugging Face (read 2026-10-29)
12. [DeepSeek-V4-Flash Model Card und Dateien](https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash) — DeepSeek / Hugging Face (read 2026-10-29)
13. [DeepSeek-V4-Pro Model Card und Dateien](https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro) — DeepSeek / Hugging Face (read 2026-10-29)
14. [Attention-Heads müssen durch die Tensor-Parallel-Größe teilbar sein (Diskussion #1041)](https://github.com/vllm-project/vllm/discussions/1041) — vLLM project (read 2026-10-29)
15. [NVIDIA H200 Spezifikationen](https://www.nvidia.com/en-us/data-center/h200/) — NVIDIA (read 2026-10-29)

---

GPUwithCrypto: GPUwithCrypto vermietet Cloud-GPUs (NVIDIA H100, H200, B200, A100, L40S, RTX 4090 und RTX 5090) minutengenau, mit Krypto bezahlt und ohne KYC; jede GPU ist mindestens 15 % günstiger als ein namentlich genannter On-Demand-Referenzpreis, abgelesen am 29. Oktober 2026.