Kurze Antwort
L40S vs A100 für Inferenz und Fine-Tuning?
L40S vs A100 für Inferenz und Fine-Tuning: Wählen Sie die L40S für FP8-Inferenz sowie Bild- und Videogenerierung mit Modellen, die in 48 GB passen. Wählen Sie die A100 80GB für Fine-Tuning, Modelle zwischen 48 und 80 GB und Multi-GPU-Jobs: Sie hat NVLink und bis zu 2,4-mal so viel Bandbreite. Stand 29. Oktober 2026 vermietet GPUwithCrypto die L40S für $0.82/Stunde und die A100 80GB für $0.92/Stunde, zahlbar mit Krypto ohne KYC.
Wie vergleichen sich die Specs von L40S und A100?
Offizielle NVIDIA-Werte, gelesen am 29. Oktober 2026. NVIDIA gibt für diese Karten sowohl dichte als auch sparse Tensor-Werte an; die Tabelle zeigt dichte Spitzen-TFLOPS. Spitzenwerte sind keine Benchmarks.
| Spec | L40S | A100 80GB SXM | A100 80GB PCIe |
|---|---|---|---|
| Architektur | Ada Lovelace | Ampere | Ampere |
| Speicher | 48 GB GDDR6 | 80 GB HBM2e | 80 GB HBM2e |
| Speicherbandbreite | 864 GB/s | 2.039 GB/s | 1.935 GB/s |
| FP16 / BF16 Tensor, dense | 362,05 TFLOPS | 312 TFLOPS | 312 TFLOPS |
| FP8 Tensor, dense | 733 TFLOPS | N/A | N/A |
| NVLink | Nein | 600 GB/s | 600 GB/s (Bridge für 2 GPUs) |
| PCIe | Gen4 x16 | Gen4 | Gen4 |
| Max. Leistungsaufnahme | 350 W | 400 W | 300 W |
| Markteinführung | 2023 | 2020 | 2021 |
Sparse-Werte: L40S 733 TFLOPS BF16 und 1.466 TFLOPS FP8; A100 624 TFLOPS BF16. NVIDIA listet FP8 als auf Ampere nicht verfügbar. Die L40S-Seite gibt an: „NVLink Support: No“.
Ist die L40S schneller als die A100?
Bei Rechenleistung etwas: Die L40S hat 362,05 dichte BF16-TFLOPS gegenüber 312 (1,16-mal), plus FP8 mit 733 TFLOPS, das der A100 fehlt. Beim Speicher nein: Die A100 80GB SXM erreicht 2.039 GB/s, das 2,36-fache der 864 GB/s der L40S (2,24-fach bei der A100 PCIe). Das sind NVIDIAs Spitzenwerte, keine Benchmarks.
- Token-für-Token-Decoding bei LLMs hängt vor allem von der Bandbreite ab, wo die A100 führt.
- Bild- und Video-Diffusion und Prefill mit großen Batches sind rechenintensiv, was den höheren Spitzenwert und FP8 der L40S begünstigt.
- Multi-GPU-Arbeit begünstigt die A100. Die L40S hat kein NVLink, ihre GPUs kommunizieren also über PCIe Gen4.
Instanzen haben 1 bis 8 GPUs je nach Host. Vor dem Start zeigt das Dashboard das Land, die GPU-Anzahl, das Formfaktor (SXM oder PCIe) und die Interconnect-Verbindung jedes Hosts.
Welche Modelle passen in 48 GB und welche brauchen 80 GB?
Faustregel für Inferenz: Speicher ≈ Parameter (in Milliarden) × Bytes pro Parameter × 1,2, mit 2 Bytes für BF16, 1 für FP8 und 0,5 für 4-Bit (EleutherAI). LoRA-Planung = 2 Bytes pro Parameter × 1,2. QLoRA ≈ 0,75 GB pro Milliarde Parameter. Formel und weitere Modelle: VRAM-Leitfaden.
| Modell und Aufgabe | Benötigter Speicher | L40S 48GB | A100 80GB |
|---|---|---|---|
| Mistral 7B, BF16-Inferenz | 17.5 GB | 1 GPU | 1 GPU |
| Llama 3.1 8B, BF16-Inferenz | 19.2 GB | 1 GPU | 1 GPU |
| Llama 3.1 8B, LoRA-Fine-Tuning | 19.2 GB | 1 GPU | 1 GPU |
| FLUX.1 [dev], BF16-Gewichte | 24 GB + Text-Encoder | 1 GPU | 1 GPU |
| FLUX.1 [dev], LoRA-Fine-Tuning | 28.8 GB | 1 GPU | 1 GPU |
| Llama 3.1 70B, 4-Bit-Inferenz | 42 GB | 1 GPU | 1 GPU |
| Qwen2.5 72B, 4-Bit-Inferenz | 43.6 GB | 1 GPU | 1 GPU |
| Llama 3.1 70B, QLoRA-Fine-Tuning | 52.5 GB | 2 GPUs (grenzwertig auf 1) | 1 GPU |
| Llama 3.1 70B, FP8-Inferenz | 84 GB | 2 GPUs, kein NVLink | 2 GPUs, keine FP8-Beschleunigung |
| Llama 3.1 70B, LoRA-Fine-Tuning | 168 GB | 4 GPUs | 3 GPUs |
Naive Passung = die Anzahl der Karten, deren Gesamtspeicher die Schätzung aufnimmt; sie ignoriert Multi-GPU-Overhead und vom Treiber reservierten Speicher. Die QLoRA-Autoren berichten von einem 65B-Modell, das auf einer 48-GB-GPU feinabgestimmt wurde, daher „grenzwertig“. FLUX.1 lädt außerdem T5-XXL, CLIP-L und einen VAE, die zwischen den Schritten auf die CPU ausgelagert werden können.
Wie viel kosten L40S und A100 pro Stunde?
Pro GPU-Stunde in USD. „Niedrigster“ und „Median“ sind Self-Service-On-Demand-Listenpreise aus GPUwithCryptos Preisprüfung vom 29. Oktober 2026; Spot- und Marktplatzpreise sind ausgeschlossen. Vast.ai ist ein Marktplatz und wird getrennt dargestellt. Alle GPUs: Preise.
| GPU | GPUwithCrypto | Niedrigster On-Demand-Preis anderswo | Median On-Demand | Geprüfte Anbieter | Niedrigstes Angebot bei Vast.ai |
|---|---|---|---|---|---|
| L40S 48GB | $0.82/Stunde | $0,97 (Massed Compute) | $1.67 | 11 | $0.33 |
| A100 80GB | $0.92/Stunde | $1,09 (Thunder Compute) | $2.23 | 13 | $0,48 (SXM), $0,34 (PCIe) |
Preise geprüft am
Zu den niedrigsten Preisen kostet die A100 80GB pro Stunde 12 % mehr als die L40S; zum Median etwa ein Drittel mehr. Vast.ai-Werte: öffentlicher Preis-Feed von Vast.ai, günstigstes mietbares Angebot am 29. Oktober 2026. Steuern ausgeschlossen.
Was ist günstiger pro GB VRAM und pro TFLOPS?
Die A100 ist günstiger pro GB, die L40S pro TFLOPS. Laut Preisprüfung von GPUwithCrypto vom 29. Oktober 2026, berechnet als Stundenpreis ÷ GB Speicher:
- A100 80GB: 1,36 Cent pro GB-Stunde zum niedrigsten On-Demand-Preis ($1,09 ÷ 80), 2,79 Cent zum Median ($2,23 ÷ 80).
- L40S 48GB: 2,02 Cent pro GB-Stunde zum niedrigsten Preis ($0,97 ÷ 48), 3,48 Cent zum Median ($1,67 ÷ 48).
Ein GB A100-Speicher ist pro Stunde zu den niedrigsten Preisen 33 % günstiger und zum Median 20 % günstiger. Bei GPUwithCrypto ergibt dieselbe Division $0.012 und $0.017.
Pro Dollar zu den niedrigsten Preisen liefert die L40S 30 % mehr BF16-Spitzenrechenleistung (373 vs. 286 TFLOPS pro $/Stunde) und 756 FP8-TFLOPS pro $/Stunde. Die A100 SXM liefert pro Dollar 2,1-mal so viel Bandbreite (1.871 vs. 891 GB/s pro $/Stunde).
Was kostet ein Job auf einer L40S vs. einer A100?
Durchgerechnete Beispiele (Annahmen, keine Benchmarks):
- Llama 3.1 8B einen Monat lang (720 Stunden) bereitstellen. Es passt auf eine Karte beider Typen. Die L40S ist die günstigere Wahl, wenn ihr Durchsatz für Ihren Traffic ausreicht.
- Ein QLoRA-Fine-Tuning von Llama 3.1 70B mit 24 Stunden veranschlagt. Es braucht etwa 52,5 GB: eine A100 oder zwei L40S. Unter der Annahme derselben 24 Stunden auf beiden Setups kostet die A100 zu den niedrigsten Preisen 44 % weniger und zum Median 33 % weniger.
Kosten der beiden Jobs
| Preisbasis | 8B-Bereitstellung, 720 h: L40S | 8B-Bereitstellung, 720 h: A100 | 70B QLoRA, 24 h: 2 × L40S | 70B QLoRA, 24 h: 1 × A100 |
|---|---|---|---|---|
| GPUwithCrypto | $590.40 | $662.40 | 2 × $19.68 | $22.08 |
| Niedrigster On-Demand-Preis anderswo | $698.40 | $784.80 | $46.56 | $26.16 |
| Median On-Demand | $1,202.40 | $1,605.60 | $80.16 | $53.52 |
Preise geprüft am
Die Stunden sind Annahmen. Nur GPU-Zeit.
Welche sollte ich für Inference mieten und welche für Fine-Tuning?
Für Inference mieten Sie die L40S, wenn das Modell in 48 GB passt und noch Platz für seinen KV-Cache bleibt: 7B–8B-Modelle in BF16, 70B-Modelle in 4-Bit sowie Bild- oder Videogenerierung mit FLUX oder SDXL. FP8-Checkpoints laufen auf ihren FP8-Tensor-Cores. Mieten Sie die A100 80GB, wenn das Modell 48–80 GB braucht, wenn lange Kontexte oder große Batches den Cache füllen oder wenn die Dekodiergeschwindigkeit durch die Bandbreite begrenzt wird.
Für Fine-Tuning ist die A100 80GB die sicherere Wahl. QLoRA auf einem 70B-Modell passt auf eine Karte, und NVLink mit 600 GB/s hilft bei Multi-GPU-Läufen. LoRA auf 7B–8B-Modellen und FLUX-LoRAs passen auf beide Karten.
Mehr: beste GPU für LLM-Inference, beste GPU für ComfyUI und Flux, beste GPU zum Fine-Tuning von Llama 70B.
Fragen zur L40S und zur A100
Ist die L40S für Inference besser als die A100?
Für Modelle, die in 48 GB passen, und für FP8 oder Bildgenerierung ja: Sie hat das 1,16-fache des dichten BF16-Peaks und FP8-Tensor-Cores. Bei größeren Modellen oder bandbreitenbegrenztem Dekodieren liegt die A100 80GB mit 80 GB und dem 2,36-fachen der Bandbreite (SXM) vorn. Das sind NVIDIA-Peak-Werte, keine Benchmarks.
Ist die L40S für Fine-Tuning geeignet?
Für LoRA auf 7B–8B-Modellen und FLUX-LoRAs ja: Sie passen in 48 GB. QLoRA auf einem 70B-Modell braucht nach unserer Faustregel etwa 52,5 GB, also grenzwertig auf einer L40S. Multi-GPU-Fine-Tuning läuft über PCIe, weil die L40S kein NVLink hat.
Wie viel kostet eine L40S pro Stunde im Vergleich zu einer A100?
Am 29. Oktober 2026 waren die niedrigsten Self-Serve-On-Demand-Preise, die wir gefunden haben, $0,97 für eine L40S und $1,09 für eine A100 80GB; die Mediane lagen bei $1,67 und $2,23. GPUwithCrypto berechnet $0.82/Stunde und $0.92/Stunde.
Unterstützt die L40S NVLink?
Nein. Auf der L40S-Seite von NVIDIA steht „NVLink Support: No“; die GPUs kommunizieren über PCIe Gen4 x16 mit 64 GB/s bidirektional. Die A100 80GB hat NVLink mit 600 GB/s.
Kann ich eine L40S oder eine A100 mit Krypto mieten?
Ja. GPUwithCrypto vermietet beide für BTC, USDT, USDC, ETH, SOL, LTC, ohne ID und ohne Karte. Von den 11 Anbietern mit einem On-Demand-Preis für die L40S am 29. Oktober 2026 akzeptieren 5 Krypto: Massed Compute, RunPod (KYC vorab), Paperspace/DigitalOcean, Vultr und Spheron.
Eine L40S oder eine A100 mit Krypto mieten
L40S $0.82/Stunde · A100 80GB $0.92/Stunde · minutengenaue Abrechnung · ohne KYC.
Quellen (10)
- NVIDIA L40S GPU — NVIDIA (read 2026-10-29)
- NVIDIA A100 Tensor Core GPU — NVIDIA (read 2026-10-29)
- NVIDIA A100 Datenblatt — NVIDIA (read 2026-10-29)
- Transformer Math 101 — EleutherAI (read 2026-10-29)
- QLoRA: Efficient Finetuning of Quantized LLMs — arXiv (read 2026-10-29)
- LoRA: Low-Rank Adaptation of Large Language Models — arXiv (read 2026-10-29)
- FLUX.1 [dev] Model Card — Black Forest Labs / Hugging Face (read 2026-10-29)
- Massed Compute-Preise vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)
- Thunder Compute-Preise thundercompute.com/pricing — Thunder Compute (read 2026-10-29)
- Öffentlicher GPU-Preisfeed von Vast.ai — Vast.ai (read 2026-10-29)