Kurze Antwort
Was ist die beste GPU für LLM-Inferenz?
Die beste GPU für LLM-Inferenz ist die günstigste, deren VRAM das Modell plus etwa 20 % fasst: eine RTX 4090 (24 GB) für 7–8B-Modelle, eine L40S (48 GB) für 32B in FP8 oder 70B in 4-Bit, eine H200 (141 GB) für 70B in FP8 und 8× H200 für 671B DeepSeek. Stand 29. Oktober 2026 vermietet GPUwithCrypto die H200 für $3.07/Stunde, zahlbar mit Krypto.
Welche GPU sollte ich für welche Modellgröße verwenden?
Benötigter VRAM = Gewichte × 1,2 (siehe den VRAM-Leitfaden). Unser Preis und der niedrigste Self-Serve-On-Demand-Preis pro GPU-Stunde, den wir am 29. Oktober 2026 bei den von uns geprüften Anbietern gefunden haben.
| Modellgröße (Beispiel) | Benötigter VRAM | Beste GPU | Warum | GPUwithCrypto | Niedrigster Preis anderswo (pro GPU) |
|---|---|---|---|---|---|
| 7–8B in BF16 (Llama 3.1 8B, Mistral 7B) | 17,5–19,2 GB | RTX 4090 24GB | Fasst BF16-Gewichte plus einen 32K-Token-Cache (4,3 GB bei Llama 3.1 8B); FP8-Tensor-Cores | $0.28/Stunde | $0.33 (Salad) |
| 7–8B mit 128K-Token-Kontext | 16 GB + 17,2 GB Cache = 33,2 GB | L40S 48GB | Ein 128K-Token-BF16-Cache allein benötigt 17,2 GB | $0.82/Stunde | $0.97 (Massed Compute) |
| 30–32B in FP8 (Qwen2.5 32B) | 39 GB | L40S 48GB | 48 GB mit FP8-Tensor-Cores (733 TFLOPS dichte FP8-Spitze) | $0.82/Stunde | $0.97 (Massed Compute) |
| 30–32B in BF16 | 78 GB | A100 80GB | Einstiegs-GPU mit 80 GB in unserem Angebot; keine FP8-Tensor-Cores, daher BF16 oder 4-Bit ausliefern | $0.92/Stunde | $1.09 (Thunder Compute) |
| 70–72B in 4-Bit | 42–43,6 GB | L40S 48GB | Einstiegs-GPU über 44 GB in unserem Angebot | $0.82/Stunde | $0.97 (Massed Compute) |
| 70–72B in FP8 (Llama 3.1 70B, Qwen2.5 72B) | 84–87,2 GB | H200 141GB | Eine GPU statt zwei H100; 54–57 GB für KV-Cache übrig; 4.800 GB/s | $3.07/Stunde | $3.62 (Massed Compute) |
| gpt-oss-120b (MXFP4) | 78.3 GB | H100 80GB | Die Model Card zielt auf eine einzelne 80-GB-GPU; FP8-Tensor-Cores, 3.350 GB/s (SXM) | $2.32/Stunde | $2.73 (Massed Compute) |
| DeepSeek V4 Flash (284B MoE) | 191.5 GB | 2× H200 | Die FP4/FP8-Gewichte belegen 159,6 GB; SGLang dokumentiert 4× H200 | $6.14/Stunde | $3.62 (Massed Compute) |
| 405B in FP8 (Llama 3.1 405B) | 486 GB | 4× H200 | 564 GB auf vier GPUs; 8× H100 bräuchte die doppelte GPU-Anzahl | $12.28/Stunde | $3.62 (Massed Compute) |
| 671B–1,6T MoE (DeepSeek-V3/R1 FP8, V4 Pro) | 805–1.037,6 GB | 8× H200 | 1.128 GB auf einem Host; 8× H100 fassen nur 640 GB | $24.56/Stunde | $3.62 (Massed Compute) |
Preise geprüft am
Pro GPU-Stunde, USD, ohne Steuern. Spot- und Marketplace-Preise sind nicht eingerechnet: Sie können niedriger sein, doch die GPU kann zurückgeholt werden.
Warum zählt VRAM für die Inferenz mehr als TFLOPS?
VRAM entscheidet, ob das Modell überhaupt läuft, und die Speicherbandbreite setzt die Geschwindigkeitsgrenze beim Generieren von Text. Jedes neue Token liest alle aktiven Gewichte einmal aus dem Speicher, deshalb wartet die GPU bei kleinen Batch-Größen auf den Speicher, nicht auf die Rechenleistung. Rechenleistung zählt mehr bei langen Prompts (Prefill) und bei großen Nutzer-Batches.
Deshalb haben H200 und H100 dieselbe Peak-FP8-Rechenleistung (1.979 TFLOPS dense, NVIDIA-Angaben), doch der H200 hat 76 % mehr Speicher und bewegt ihn 43 % schneller: 4.800 GB/s gegenüber 3.350 GB/s. Bandbreite und TFLOPS sind hier NVIDIAs Peak-Werte, keine Messungen von uns.
Welche GPU passt zu welchem Modell? (nach VRAM sortiert)
Die sieben GPUs, die wir vermieten, sortiert nach VRAM pro GPU, die größte zuerst, denn der VRAM entscheidet, welches Modell passt. Bandbreite ist das zweite Kriterium, der Preis pro Stunde das dritte.
-
1
NVIDIA B200
Meister VRAM180 GB HBM3e bei 8.000 GB/s (pro GPU-Anteil an NVIDIAs 8-GPU-HGX-Werten), FP8- und FP4-Tensor-Cores. Fasst ein 70B-Modell in BF16 (168 GB) auf einer GPU.
-
141 GB HBM3e bei 4.800 GB/s. Fasst ein 70B-Modell in FP8 (84 GB), mit 57 GB übrig für den KV-Cache. Acht davon fassen DeepSeek-V3 oder V4 Pro.
-
80 GB HBM3 bei 3.350 GB/s (SXM) oder 2.000 GB/s (PCIe), FP8-Tensor-Cores. Fasst gpt-oss-120b oder ein 32B-Modell in BF16.
-
80 GB HBM2e bei 2.039 GB/s (SXM) oder 1.935 GB/s (PCIe). Keine FP8-Tensor-Cores: BF16 oder 4-Bit servieren.
-
48 GB GDDR6 bei 864 GB/s, FP8-Tensor-Cores, kein NVLink. Fasst 32B in FP8 oder 70B in 4-Bit.
-
32 GB GDDR7 mit 1.792 GB/s, FP8- und FP4-Tensor-Cores. Nimmt ein 12B-Modell in BF16 (28,8 GB) oder ein 32B-Modell in 4-Bit (19,5 GB) auf, mit Platz für einen langen Kontext.
-
24 GB GDDR6X mit 1.008 GB/s, FP8-Tensor-Cores. Nimmt ein 7–8B-Modell in BF16 auf.
Offenlegung: Diese Seite wird von GPUwithCrypto veröffentlicht. Angaben zu Wettbewerbern stammen von deren öffentlichen Webseiten zum oben genannten Datum und können sich seitdem geändert haben.
Ist eine H200 das bessere Preis-Leistungs-Verhältnis als zwei H100?
Für ein 70B-Modell in FP8 ja: eine H200 nimmt es auf, während zwei H100 es aufteilen und auf jeder Schicht Daten austauschen müssen. Laut der Preisprüfung von GPUwithCrypto vom 29. Oktober 2026 lag der Median der On-Demand-H200 über 13 Anbieter bei $5.29 pro GPU-Stunde, gegenüber $4.16 für eine H100 über 16 Anbieter. Die H200 kostet 27 % mehr pro Stunde für 76 % mehr VRAM, also ist sie 28 % günstiger pro GB Speicher.
Zu unseren Preisen ist die Wahl $3.07/Stunde für eine H200 gegenüber $4.64/Stunde für zwei H100. Vollständiger Vergleich: H100 vs H200.
Was ist mit Spot- und Marketplace-GPUs?
Sie kosten weniger und können mitten im Job verschwinden. Das günstigste H100-Angebot auf dem Marketplace von Vast.ai lag am 29. Oktober 2026 bei $1.73 pro Stunde (öffentlicher Preis-Feed von Vast.ai), unter dem niedrigsten On-Demand-Preis, den wir gefunden haben. Für einen Inferenz-Server, der durchgehend laufen muss, bedeutet eine Unterbrechung Ausfallzeit. Instanzen sind On-Demand, nicht Spot: Niemand kann Ihnen die GPU wegnehmen, solange Ihr Guthaben reicht, und die Instanz läuft, bis Sie sie stoppen. Wann Sie was nutzen: Was ist eine Spot-GPU.
Fragen zu GPUs für LLM-Inferenz
Welche GPU brauche ich, um Llama 70B auszuführen?
Eine H200 in FP8 (84 GB benötigt, 141 GB verfügbar), eine L40S in 4-Bit (42 GB benötigt, 48 GB verfügbar) oder eine B200 in BF16 (168 GB benötigt, 180 GB verfügbar). Zwei H100 nehmen ebenfalls die FP8-Version auf, mit 160 GB zusammen.
Welche ist die beste GPU für DeepSeek V4?
Die H200. Die Gewichte von DeepSeek V4 Flash belegen 159,6 GB, also braucht es mindestens zwei H200, und das SGLang-Cookbook dokumentiert vier. Die 864,7 GB von V4 Pro erfordern acht H200. Die Befehle stehen im DeepSeek V4-Leitfaden.
Ist die RTX 4090 gut für LLM-Inferenz?
Für 7–8B-Modelle ja: 24 GB nehmen Llama 3.1 8B in BF16 auf (19,2 GB mit Overhead) und sie ist die Einstiegs-GPU unseres Angebots, mit 1.008 GB/s Bandbreite. Über etwa 10B Parameter in BF16 geht ihr der Speicher aus.
Ist die A100 2026 noch gut für Inferenz?
Für BF16- und 4-Bit-Modelle bis 80 GB ja, und sie ist die Einstiegs-80-GB-GPU unseres Angebots. Sie hat keine FP8-Tensor-Cores, daher laufen FP8-Checkpoints besser auf einer L40S, H100 oder H200. Siehe H100 vs A100.
Kann ich diese GPUs mit Krypto mieten?
Ja. GPUwithCrypto nimmt BTC, USDT, USDC, ETH, SOL, LTC, XMR aus einem 1 $-Guthaben, ohne ID und ohne Karte. Instanzen werden pro Minute zum Stundensatz abgerechnet, solange sie laufen, aus den GPU-Stunden, die Sie für diese GPU gekauft haben. Das Stoppen einer Instanz beendet die Abrechnung sofort.
Quellen (14)
- NVIDIA H200 Spezifikationen — NVIDIA (read 2026-10-29)
- NVIDIA H100 Spezifikationen — NVIDIA (read 2026-10-29)
- NVIDIA A100 Spezifikationen — NVIDIA (read 2026-10-29)
- NVIDIA L40S Spezifikationen — NVIDIA (read 2026-10-29)
- NVIDIA HGX Plattform (B200) — NVIDIA (read 2026-10-29)
- NVIDIA Ada GPU-Architektur-Whitepaper (RTX 4090) — NVIDIA (read 2026-10-29)
- NVIDIA RTX Blackwell Architektur-Whitepaper (RTX 5090) — NVIDIA (read 2026-10-29)
- Transformer Math 101 — EleutherAI (read 2026-10-29)
- gpt-oss-120b Model Card — OpenAI / Hugging Face (read 2026-10-29)
- DeepSeek-V4 Cookbook — SGLang (read 2026-10-29)
- Massed Compute-Preise vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)
- Preisänderungen bei SaladCloud, November 2026 blog.salad.com/saladcloud-price-changes-november-2026 — Salad (read 2026-10-29)
- Thunder Compute-Preise thundercompute.com/pricing — Thunder Compute (read 2026-10-29)
- Vast.ai öffentlicher GPU-Preis-Feed — Vast.ai (read 2026-10-29)