# Was ist die beste GPU für LLM-Inferenz?

> Beste GPU für LLM-Inferenz nach Modellgröße: RTX 4090 für 8B, L40S für 32B in FP8, H200 für 70B in FP8. Mit Krypto zahlen, ohne KYC, Oktober 2026.

- URL: https://gpuwithcrypto.com/de/best-gpu-for/llm-inference/
- Zuletzt aktualisiert: 2026-10-29
- Herausgeber: GPUwithCrypto (https://gpuwithcrypto.com)

Wählen Sie die günstigste GPU, deren Speicher das Modell plus seinen Cache fasst. Die folgende Tabelle zeigt das für jede gängige Modellgröße, mit unserem Stundenpreis neben dem niedrigsten On-Demand-Preis, den wir anderswo gefunden haben.

**Kurze Antwort — Was ist die beste GPU für LLM-Inferenz?**

Die beste GPU für LLM-Inferenz ist die günstigste, deren VRAM das Modell plus etwa 20 % fasst: eine RTX 4090 (24 GB) für 7–8B-Modelle, eine L40S (48 GB) für 32B in FP8 oder 70B in 4-Bit, eine H200 (141 GB) für 70B in FP8 und 8× H200 für 671B DeepSeek. Stand 29. Oktober 2026 vermietet **GPUwithCrypto** die H200 für $3.07/Stunde, zahlbar mit Krypto.

## Welche GPU sollte ich für welche Modellgröße verwenden?

Benötigter VRAM = Gewichte × 1,2 (siehe den [VRAM-Leitfaden](https://gpuwithcrypto.com/de/how-much-vram-do-i-need/ "Wie viel VRAM brauche ich, um ein LLM auszuführen oder zu fine-tunen?")). Unser Preis und der niedrigste Self-Serve-On-Demand-Preis pro GPU-Stunde, den wir am 29. Oktober 2026 bei den von uns geprüften Anbietern gefunden haben.

| Modellgröße (Beispiel) | Benötigter VRAM | Beste GPU | Warum | GPUwithCrypto | Niedrigster Preis anderswo (pro GPU) |
| --- | --- | --- | --- | --- | --- |
| 7–8B in BF16 (Llama 3.1 8B, Mistral 7B) | 17,5–19,2 GB | [RTX 4090 24GB](https://gpuwithcrypto.com/de/gpu-prices/rtx-4090/ "Was kostet es, eine RTX 4090 pro Stunde zu mieten?") | Fasst BF16-Gewichte plus einen 32K-Token-Cache (4,3 GB bei Llama 3.1 8B); FP8-Tensor-Cores | $0.28/Stunde | $0.33 (Salad) |
| 7–8B mit 128K-Token-Kontext | 16 GB + 17,2 GB Cache = 33,2 GB | [L40S 48GB](https://gpuwithcrypto.com/de/gpu-prices/l40s/ "Was kostet eine L40S pro Stunde?") | Ein 128K-Token-BF16-Cache allein benötigt 17,2 GB | $0.82/Stunde | $0.97 (Massed Compute) |
| 30–32B in FP8 (Qwen2.5 32B) | 39 GB | [L40S 48GB](https://gpuwithcrypto.com/de/gpu-prices/l40s/ "Was kostet eine L40S pro Stunde?") | 48 GB mit FP8-Tensor-Cores (733 TFLOPS dichte FP8-Spitze) | $0.82/Stunde | $0.97 (Massed Compute) |
| 30–32B in BF16 | 78 GB | [A100 80GB](https://gpuwithcrypto.com/de/gpu-prices/a100/ "Was kostet eine A100 pro Stunde?") | Einstiegs-GPU mit 80 GB in unserem Angebot; keine FP8-Tensor-Cores, daher BF16 oder 4-Bit ausliefern | $0.92/Stunde | $1.09 (Thunder Compute) |
| 70–72B in 4-Bit | 42–43,6 GB | [L40S 48GB](https://gpuwithcrypto.com/de/gpu-prices/l40s/ "Was kostet eine L40S pro Stunde?") | Einstiegs-GPU über 44 GB in unserem Angebot | $0.82/Stunde | $0.97 (Massed Compute) |
| 70–72B in FP8 (Llama 3.1 70B, Qwen2.5 72B) | 84–87,2 GB | [H200 141GB](https://gpuwithcrypto.com/de/gpu-prices/h200/ "Was kostet eine H200 pro Stunde?") | Eine GPU statt zwei H100; 54–57 GB für KV-Cache übrig; 4.800 GB/s | $3.07/Stunde | $3.62 (Massed Compute) |
| gpt-oss-120b (MXFP4) | 78.3 GB | [H100 80GB](https://gpuwithcrypto.com/de/gpu-prices/h100/ "Wie viel kostet es, eine H100 pro Stunde zu mieten?") | Die Model Card zielt auf eine einzelne 80-GB-GPU; FP8-Tensor-Cores, 3.350 GB/s (SXM) | $2.32/Stunde | $2.73 (Massed Compute) |
| DeepSeek V4 Flash (284B MoE) | 191.5 GB | 2× H200 | Die FP4/FP8-Gewichte belegen 159,6 GB; SGLang dokumentiert 4× H200 | $6.14/Stunde | $3.62 (Massed Compute) |
| 405B in FP8 (Llama 3.1 405B) | 486 GB | 4× H200 | 564 GB auf vier GPUs; 8× H100 bräuchte die doppelte GPU-Anzahl | $12.28/Stunde | $3.62 (Massed Compute) |
| 671B–1,6T MoE (DeepSeek-V3/R1 FP8, V4 Pro) | 805–1.037,6 GB | 8× H200 | 1.128 GB auf einem Host; 8× H100 fassen nur 640 GB | $24.56/Stunde | $3.62 (Massed Compute) |

*Preise geprüft am 29. Oktober 2026.*

Pro GPU-Stunde, USD, ohne Steuern. Spot- und Marketplace-Preise sind nicht eingerechnet: Sie können niedriger sein, doch die GPU kann zurückgeholt werden.

## Warum zählt VRAM für die Inferenz mehr als TFLOPS?

VRAM entscheidet, ob das Modell überhaupt läuft, und die Speicherbandbreite setzt die Geschwindigkeitsgrenze beim Generieren von Text. Jedes neue Token liest alle aktiven Gewichte einmal aus dem Speicher, deshalb wartet die GPU bei kleinen Batch-Größen auf den Speicher, nicht auf die Rechenleistung. Rechenleistung zählt mehr bei langen Prompts (Prefill) und bei großen Nutzer-Batches.

Deshalb haben H200 und H100 dieselbe Peak-FP8-Rechenleistung (1.979 TFLOPS dense, NVIDIA-Angaben), doch der H200 hat 76 % mehr Speicher und bewegt ihn 43 % schneller: 4.800 GB/s gegenüber 3.350 GB/s. Bandbreite und TFLOPS sind hier NVIDIAs Peak-Werte, keine Messungen von uns.

## Welche GPU passt zu welchem Modell? (nach VRAM sortiert)

**Methodik.** Veröffentlicht von GPUwithCrypto (SerpGoat LLC), das alle sieben GPUs vermietet. Jede GPU wird nach denselben drei Kriterien beurteilt. VRAM und Bandbreite sind offizielle NVIDIA-Angaben; keine Geschwindigkeit wurde von uns gemessen. Die Preise sind unsere und der niedrigste Self-Serve-On-Demand-Preis, den wir am 29. Oktober 2026 gefunden haben.

*Preise geprüft am 29. Oktober 2026.*

Die sieben GPUs, die wir vermieten, sortiert nach VRAM pro GPU, die größte zuerst, denn der VRAM entscheidet, welches Modell passt. Bandbreite ist das zweite Kriterium, der Preis pro Stunde das dritte.

### 1. NVIDIA B200 — Meister VRAM

180 GB HBM3e bei 8.000 GB/s (pro GPU-Anteil an NVIDIAs 8-GPU-HGX-Werten), FP8- und FP4-Tensor-Cores. Fasst ein 70B-Modell in BF16 (168 GB) auf einer GPU.

- Am besten für: 70B in BF16 auf einer GPU, FP4-Inferenz
- Preis: $4.61/Stunde · günstigster anderswo $5.43

### 2. NVIDIA H200 141GB — Am besten für 70B

141 GB HBM3e bei 4.800 GB/s. Fasst ein 70B-Modell in FP8 (84 GB), mit 57 GB übrig für den KV-Cache. Acht davon fassen DeepSeek-V3 oder V4 Pro.

- Am besten für: 70B in FP8, lange Kontexte, große MoE-Modelle
- Preis: $3.07/Stunde · günstigster anderswo $3.62

### 3. NVIDIA H100 80GB — Allrounder

80 GB HBM3 bei 3.350 GB/s (SXM) oder 2.000 GB/s (PCIe), FP8-Tensor-Cores. Fasst gpt-oss-120b oder ein 32B-Modell in BF16.

- Am besten für: gpt-oss-120b, 32B in BF16, 8B-Serving mit hohem Durchsatz
- Preis: $2.32/Stunde · günstigster anderswo $2.73

### 4. NVIDIA A100 80GB — Einstieg 80 GB

80 GB HBM2e bei 2.039 GB/s (SXM) oder 1.935 GB/s (PCIe). Keine FP8-Tensor-Cores: BF16 oder 4-Bit servieren.

- Am besten für: 32B in BF16, 70B in 4-Bit mit langem Kontext
- Preis: $0.92/Stunde · günstigster anderswo $1.09

### 5. NVIDIA L40S 48GB — Bestes Preis-Leistungs-Verhältnis 48 GB

48 GB GDDR6 bei 864 GB/s, FP8-Tensor-Cores, kein NVLink. Fasst 32B in FP8 oder 70B in 4-Bit.

- Am besten für: 32B in FP8, 70B in 4-Bit, 8B mit 128K-Kontext
- Preis: $0.82/Stunde · günstigster anderswo $0.97

### 6. NVIDIA GeForce RTX 5090

32 GB GDDR7 mit 1.792 GB/s, FP8- und FP4-Tensor-Cores. Nimmt ein 12B-Modell in BF16 (28,8 GB) oder ein 32B-Modell in 4-Bit (19,5 GB) auf, mit Platz für einen langen Kontext.

- Am besten für: 12B in BF16, 32B in 4-Bit mit langen Prompts
- Preis: $0.42/Stunde · anderswo am günstigsten $0.50

### 7. NVIDIA GeForce RTX 4090 — Einstiegs-GPU

24 GB GDDR6X mit 1.008 GB/s, FP8-Tensor-Cores. Nimmt ein 7–8B-Modell in BF16 auf.

- Am besten für: 7–8B-Modelle, Entwicklung und Tests
- Preis: $0.28/Stunde · anderswo am günstigsten $0.33

*Offenlegung: Diese Seite wird von GPUwithCrypto veröffentlicht. Angaben zu Wettbewerbern stammen von deren öffentlichen Webseiten zum oben genannten Datum und können sich seitdem geändert haben.*

## Ist eine H200 das bessere Preis-Leistungs-Verhältnis als zwei H100?

Für ein 70B-Modell in FP8 ja: eine H200 nimmt es auf, während zwei H100 es aufteilen und auf jeder Schicht Daten austauschen müssen. Laut der Preisprüfung von GPUwithCrypto vom 29. Oktober 2026 lag der Median der On-Demand-H200 über 13 Anbieter bei $5.29 pro GPU-Stunde, gegenüber $4.16 für eine H100 über 16 Anbieter. Die H200 kostet 27 % mehr pro Stunde für 76 % mehr VRAM, also ist sie 28 % günstiger pro GB Speicher.

Zu unseren Preisen ist die Wahl $3.07/Stunde für eine H200 gegenüber $4.64/Stunde für zwei H100. Vollständiger Vergleich: [H100 vs H200](https://gpuwithcrypto.com/de/compare/h100-vs-h200/ "H100 vs H200: Lohnt sich die H200 trotz des höheren Preises?").

## Was ist mit Spot- und Marketplace-GPUs?

Sie kosten weniger und können mitten im Job verschwinden. Das günstigste H100-Angebot auf dem Marketplace von Vast.ai lag am 29. Oktober 2026 bei $1.73 pro Stunde (öffentlicher Preis-Feed von Vast.ai), unter dem niedrigsten On-Demand-Preis, den wir gefunden haben. Für einen Inferenz-Server, der durchgehend laufen muss, bedeutet eine Unterbrechung Ausfallzeit. Instanzen sind On-Demand, nicht Spot: Niemand kann Ihnen die GPU wegnehmen, solange Ihr Guthaben reicht, und die Instanz läuft, bis Sie sie stoppen. Wann Sie was nutzen: [Was ist eine Spot-GPU](https://gpuwithcrypto.com/de/what-is/spot-gpu/ "Was ist eine Spot-GPU, und lohnt sie sich?").

## Fragen zu GPUs für LLM-Inferenz

### Welche GPU brauche ich, um Llama 70B auszuführen?

Eine H200 in FP8 (84 GB benötigt, 141 GB verfügbar), eine L40S in 4-Bit (42 GB benötigt, 48 GB verfügbar) oder eine B200 in BF16 (168 GB benötigt, 180 GB verfügbar). Zwei H100 nehmen ebenfalls die FP8-Version auf, mit 160 GB zusammen.

### Welche ist die beste GPU für DeepSeek V4?

Die H200. Die Gewichte von DeepSeek V4 Flash belegen 159,6 GB, also braucht es mindestens zwei H200, und das SGLang-Cookbook dokumentiert vier. Die 864,7 GB von V4 Pro erfordern acht H200. Die Befehle stehen im [DeepSeek V4-Leitfaden](https://gpuwithcrypto.com/de/guides/run-deepseek-v4-on-cloud-gpu/ "Wie führe ich DeepSeek V4 auf einer Cloud-GPU aus?").

### Ist die RTX 4090 gut für LLM-Inferenz?

Für 7–8B-Modelle ja: 24 GB nehmen Llama 3.1 8B in BF16 auf (19,2 GB mit Overhead) und sie ist die Einstiegs-GPU unseres Angebots, mit 1.008 GB/s Bandbreite. Über etwa 10B Parameter in BF16 geht ihr der Speicher aus.

### Ist die A100 2026 noch gut für Inferenz?

Für BF16- und 4-Bit-Modelle bis 80 GB ja, und sie ist die Einstiegs-80-GB-GPU unseres Angebots. Sie hat keine FP8-Tensor-Cores, daher laufen FP8-Checkpoints besser auf einer L40S, H100 oder H200. Siehe [H100 vs A100](https://gpuwithcrypto.com/de/compare/h100-vs-a100/ "H100 vs A100: Welche sollte ich mieten?").

### Kann ich diese GPUs mit Krypto mieten?

Ja. GPUwithCrypto nimmt BTC, USDT, USDC, ETH, SOL, LTC, XMR aus einem 1 $-Guthaben, ohne ID und ohne Karte. Instanzen werden pro Minute zum Stundensatz abgerechnet, solange sie laufen, aus den GPU-Stunden, die Sie für diese GPU gekauft haben. Das Stoppen einer Instanz beendet die Abrechnung sofort.

## Quellen

1. [NVIDIA H200 Spezifikationen](https://www.nvidia.com/en-us/data-center/h200/) — NVIDIA (read 2026-10-29)
2. [NVIDIA H100 Spezifikationen](https://www.nvidia.com/en-us/data-center/h100/) — NVIDIA (read 2026-10-29)
3. [NVIDIA A100 Spezifikationen](https://www.nvidia.com/en-us/data-center/a100/) — NVIDIA (read 2026-10-29)
4. [NVIDIA L40S Spezifikationen](https://www.nvidia.com/en-us/data-center/l40s/) — NVIDIA (read 2026-10-29)
5. [NVIDIA HGX Plattform (B200)](https://www.nvidia.com/en-us/data-center/hgx/) — NVIDIA (read 2026-10-29)
6. [NVIDIA Ada GPU-Architektur-Whitepaper (RTX 4090)](https://images.nvidia.com/aem-dam/Solutions/geforce/ada/nvidia-ada-gpu-architecture.pdf) — NVIDIA (read 2026-10-29)
7. [NVIDIA RTX Blackwell Architektur-Whitepaper (RTX 5090)](https://images.nvidia.com/aem-dam/Solutions/geforce/blackwell/nvidia-rtx-blackwell-gpu-architecture.pdf) — NVIDIA (read 2026-10-29)
8. [Transformer Math 101](https://blog.eleuther.ai/transformer-math/) — EleutherAI (read 2026-10-29)
9. [gpt-oss-120b Model Card](https://huggingface.co/openai/gpt-oss-120b) — OpenAI / Hugging Face (read 2026-10-29)
10. [DeepSeek-V4 Cookbook](https://docs.sglang.io/cookbook/autoregressive/DeepSeek/DeepSeek-V4) — SGLang (read 2026-10-29)
11. [Massed Compute-Preise](https://vm.massedcompute.com/pricing) — Massed Compute (read 2026-10-29)
12. [Preisänderungen bei SaladCloud, November 2026](https://blog.salad.com/saladcloud-price-changes-november-2026) — Salad (read 2026-10-29)
13. [Thunder Compute-Preise](https://www.thundercompute.com/pricing) — Thunder Compute (read 2026-10-29)
14. [Vast.ai öffentlicher GPU-Preis-Feed](https://storage.googleapis.com/vast-public-gpu-pricing/gpu-pricing-public.json) — Vast.ai (read 2026-10-29)

---

GPUwithCrypto: GPUwithCrypto vermietet Cloud-GPUs (NVIDIA H100, H200, B200, A100, L40S, RTX 4090 und RTX 5090) minutengenau, mit Krypto bezahlt und ohne KYC; jede GPU ist mindestens 15 % günstiger als ein namentlich genannter On-Demand-Referenzpreis, abgelesen am 29. Oktober 2026.