Wie viel VRAM brauche ich, um ein LLM auszuführen oder zu fine-tunen?

Wie berechne ich den VRAM, den ein Modell benötigt?

Multiplizieren Sie die Parameteranzahl mit den Bytes, die jeder Parameter belegt, und addieren Sie dann 20 %. Rechenbeispiel, Llama 3.1 70B in FP8: 70 Milliarden × 1 Byte = 70 GB Gewichte, und 70 × 1,2 = 84 GB. Das ist mehr als eine 80-GB-H100 und weniger als eine 141-GB-H200, also ist die kleinste passende Lösung eine H200. Welche GPU welches Modell am schnellsten fürs Geld bedient: beste GPU für LLM-Inferenz.

Die 20 % decken den KV-Cache und die Aktivierungen bei mäßiger Kontextlänge und Batch-Größe ab. Die Regel und die Bytes pro Parameter stammen aus Transformer Math 101 von EleutherAI. Es ist eine Dimensionierungsregel, keine Garantie: Lange Prompts, viele parallele Nutzer und Framework-Overhead gehen darüber hinaus. Eine Summe innerhalb von 5 % des VRAM einer Karte, etwa Qwen2.5 32B in BF16 (78 GB) auf einer 80-GB-Karte, läuft nur mit kurzen Prompts; nehmen Sie für lange die nächstgrößere Variante.

Wie viel VRAM kommt bei langem Kontext hinzu?

Ein langer Kontext fügt den KV-Cache hinzu: zwei Vektoren (Key und Value) pro Layer, pro KV-Head, pro Token. Für Llama 3.1 70B (80 Layer, 8 KV-Heads mit 128 Werten, laut Llama-3-Paper) in BF16: 2 × 80 × 8 × 128 × 2 Byte = 327.680 Byte pro Token. Eine Konversation mit 128K Tokens (131.072 Tokens) braucht daher 42,9 GB.

Rechnen Sie das zu den FP8-Gewichten: 70 + 42,9 = 112,9 GB, immer noch eine H200. Vier solcher Konversationen gleichzeitig brauchen 70 + 4 × 42,9 = 241,6 GB, also zwei H200. Ein FP8-KV-Cache halbiert die Cache-Werte. DeepSeek-Modelle komprimieren ihren Attention-Cache, daher gilt diese Formel für sie nicht.

Wie viel VRAM brauche ich zum Fine-Tuning eines LLM?

Volles Fine-Tuning braucht 16 bis 18 Byte pro Parameter, bevor Aktivierungen hinzukommen. EleutherAI zählt 2 Byte für Gewichte, 12 für den Optimizer-State (mit der FP32-Kopie) und 2 für Gradienten; Hugging Face zählt 6 + 8 + 4 = 18. LoRA friert das Basismodell ein und braucht daher etwa 2 Byte pro Parameter für eine BF16-Basis; das LoRA-Paper berichtet von einem 3× geringeren GPU-Speicher gegenüber vollem Fine-Tuning. Unser Planungspuffer von × 1,2 bei LoRA ist unsere eigene Konvention. QLoRA lädt die Basis in 4-Bit: Die Autoren haben ein 65B-Modell auf einer einzigen 48-GB-GPU fine-getunt, 48 ÷ 65 = 0,74 GB pro Milliarde Parameter, gerundet auf 0,75. Jede Methode angewandt auf ein 70B-Modell: beste GPU zum Fine-Tuning von Llama 70B.

Warum springen die GPU-Anzahlen von 2 auf 4 auf 8?

Tensor-Parallelismus verteilt die Attention-Heads jeder Schicht gleichmäßig auf die GPUs. vLLM startet nicht, wenn die Anzahl der Heads nicht durch die Anzahl der GPUs teilbar ist. Llama 3.1 70B hat 64 Attention-Heads, also funktionieren 2, 4 oder 8 GPUs und 3 nicht. Drei H100 mit 80 GB (240 GB) fassen ein 168-GB-Modell auf dem Papier, sind aber kein nutzbares Layout; vier sind es. Instanzen haben 1 bis 8 GPUs je nach Host. Vor dem Start zeigt das Dashboard das Land, die GPU-Anzahl, das Formfaktor (SXM oder PCIe) und die Interconnect-Verbindung jedes Hosts.

Wie viel kostet die richtige GPU pro Stunde?

Die Präzision verändert die Rechnung stärker als jede andere Entscheidung. Llama 3.1 70B braucht eine B200 in BF16, aber eine L40S in 4-Bit. Laut GPUwithCryptos Preisprüfung vom 29. Oktober 2026 lagen die niedrigsten Self-Serve-On-Demand-Preise für diese beiden GPUs bei $5.43 und $0.97 pro Stunde: 4-Bit senkt die Stundenkosten um 82 %. Zu unseren Preisen kostet das Paar $4.61/Stunde und $0.82/Stunde. Prüfen Sie die 4-Bit-Ausgabe mit Ihren eigenen Prompts, bevor Sie sich festlegen. Jede GPU und jeder Stundenblock steht auf der Preisseite.