Kurze Antwort
Welche ist die beste GPU zum Fine-Tuning von Llama 70B?
Die beste GPU zum Fine-Tuning von Llama 70B hängt von der Methode ab. QLoRA braucht etwa 52,5 GB, also eine 80-GB-A100 oder H100. LoRA auf einer BF16-Basis braucht etwa 168 GB, also eine 180-GB-B200 oder zwei H200. Full Fine-Tuning braucht 1.120 bis 1.260 GB vor den Activations, also acht B200. Stand 29. Oktober 2026 vermietet GPUwithCrypto eine A100 80GB für $0.92/Stunde, mit Krypto bezahlbar.
Welche GPU für welche Methode?
| QLoRA (4-Bit-Basis) | ≈ 52,5 GB → 1× A100 80GB ($0.92/Stunde) oder 1× H100 ($2.32/Stunde) |
|---|---|
| LoRA (BF16-Basis) | 140 GB als Untergrenze, ≈ 168 GB zum Planen → 1× B200 ($4.61/Stunde) oder 2× H200 ($6.14/Stunde) |
| Full Fine-Tuning, 8-Bit-Adam | ≈ 840 GB → 8× H200 ($24.56/Stunde) |
| Full Fine-Tuning, AdamW | 1.120–1.260 GB → 8× B200 ($36.88/Stunde) |
| Zu klein | Eine 48-GB-L40S verfehlt die QLoRA-Schätzung von 52,5 GB; die QLoRA-Autoren haben ein 65B-Modell auf einer 48-GB-GPU untergebracht |
Wie viel Speicher braucht jede Methode für ein 70B-Modell?
- QLoRA: Das Basismodell wird in 4 Bit geladen und eingefroren; nur kleine Adapter werden trainiert. Das QLoRA-Paper hat ein 65B-Modell auf einer 48-GB-GPU fine-getunt: 48 ÷ 65 = 0,74 GB pro Milliarde Parameter, gerundet auf 0,75. Für 70B: 70 × 0,75 = 52,5 GB.
- LoRA: Die Basis bleibt in BF16 und eingefroren: 70 × 2 Byte = 140 GB. Adapter und ihr Optimizer kommen mit etwa 1 % dazu; mit unserem Planungszuschlag von 20 %: 140 × 1,2 = 168 GB.
- Full Fine-Tuning, Mixed Precision mit AdamW: EleutherAI rechnet mit 2 + 12 + 2 = 16 Byte pro Parameter (Gewichte, Optimizer mit FP32-Kopie, Gradienten): 70 × 16 = 1.120 GB. Hugging Face rechnet mit 6 + 8 + 4 = 18 Byte: 1.260 GB. Activations kommen obendrauf.
- Full Fine-Tuning mit 8-Bit-Adam: Hugging Face setzt 8-Bit-Optimizer-States mit 2 statt 8 Byte an, also 6 + 2 + 4 = 12 Byte: 70 × 12 = 840 GB.
Dies sind Planungsregeln aus den zitierten Quellen, keine Messungen. Sequenzlänge und Batch-Größe verändern den Activation-Speicher; Gradient Checkpointing reduziert ihn. Dieselben Regeln für andere Modellgrößen: Wie viel VRAM brauche ich?
Wie viele GPUs braucht jede Methode?
✓ = der kombinierte VRAM der Konfiguration deckt die Schätzung der Methode ab. Multi-GPU-Zeilen setzen voraus, dass das Modell über die GPUs gesharded wird (FSDP oder DeepSpeed ZeRO-3). Unsere Preise pro Stunde für die gesamte Konfiguration, 29. Oktober 2026.
| Konfiguration | Gesamter VRAM | QLoRA (52,5 GB) | LoRA (168 GB) | Full, 8-Bit-Adam (840 GB) | Full, AdamW (1.260 GB) | GPUwithCrypto pro Stunde |
|---|---|---|---|---|---|---|
| 1× L40S | 48 GB | ✗ | ✗ | ✗ | ✗ | $0.82/Stunde |
| 1× A100 80GB | 80 GB | ✓ | ✗ | ✗ | ✗ | $0.92/Stunde |
| 1× H100 | 80 GB | ✓ | ✗ | ✗ | ✗ | $2.32/Stunde |
| 1× H200 | 141 GB | ✓ | ✗ | ✗ | ✗ | $3.07/Stunde |
| 1× B200 | 180 GB | ✓ | ✓ | ✗ | ✗ | $4.61/Stunde |
| 2× H200 | 282 GB | ✓ | ✓ | ✗ | ✗ | $6.14/Stunde |
| 4× A100 80GB | 320 GB | ✓ | ✓ | ✗ | ✗ | $3.68/Stunde |
| 8× H100 | 640 GB | ✓ | ✓ | ✗ | ✗ | $18.56/Stunde |
| 8× H200 | 1,128 GB | ✓ | ✓ | ✓ | ✗ | $24.56/Stunde |
| 8× B200 | 1,440 GB | ✓ | ✓ | ✓ | ✓ | $36.88/Stunde |
Preise geprüft am
8× H200 deckt die 16-Byte-Schätzung (1.120 GB) auf dem Papier ab, lässt aber nur 8 GB für Aktivierungen, daher ist es für AdamW mit ✗ markiert. 8× B200 lässt nach der 18-Byte-Schätzung 180 GB übrig. Instanzen haben 1 bis 8 GPUs je nach Host. Vor dem Start zeigt das Dashboard das Land, die GPU-Anzahl, das Formfaktor (SXM oder PCIe) und die Interconnect-Verbindung jedes Hosts.
Was kostet ein Fine-Tuning-Lauf für Llama 70B?
Kosten = GPUs × Laufzeit in Stunden × Preis pro GPU-Stunde. Die folgenden Stunden sind zur Veranschaulichung gewählte Annahmen, keine Messungen: Die Laufzeit hängt von der Anzahl der Trainings-Tokens, der Sequenzlänge, der Batch-Größe und der Software ab. Messen Sie Ihre eigenen Schritte pro Stunde in einem kurzen Lauf, bevor Sie einen langen dimensionieren. Die angenommenen Stunden entsprechen unseren Blöcken von 10, 24 und 168 GPU-Stunden. GPU-Stunden werden in Blöcken von 10, 24, 168 oder 720 Stunden für ein GPU-Modell zum selben Stundensatz verkauft; Instanzen dieser GPU beziehen sie minutengenau, und ungenutzte Stunden verfallen nie. Jeder Block und jede GPU ist unter GPU-Preise aufgeführt.
Laufkostenschätzung unter angenommenen Stunden
| Methode | Konfiguration | Angenommene Stunden (nicht gemessen) | GPU-Stunden | GPUwithCrypto Kosten |
|---|---|---|---|---|
| QLoRA | 1× A100 80GB | 10 | 10 | 9,20 $ |
| QLoRA | 1× H100 | 10 | 10 | 23,20 $ |
| LoRA | 1× B200 | 24 | 24 | 110,64 $ |
| LoRA | 2× H200 | 12 | 24 | 73,68 $ |
| Vollständig, 8-Bit-Adam | 8× H200 | 21 | 168 | 515,76 $ |
| Vollständig, AdamW | 8× B200 | 21 | 168 | 774,48 $ |
Preise geprüft am
Wie viel mehr kostet vollständiges Fine-Tuning im Vergleich zu QLoRA?
Etwa 40-mal mehr pro Stunde Hardware. Laut der Preisprüfung von GPUwithCrypto vom 29. Oktober 2026 lag der niedrigste Self-Serve-On-Demand-Preis für eine 8× B200-Instanz bei 43,46 $ pro Stunde (Massed Compute, 5,4325 $ pro GPU). Eine A100 80GB kostete bei Thunder Compute 1,09 $ pro Stunde. Das Verhältnis ist bei unseren Preisen gleich: $36.88/Stunde gegenüber $0.92/Stunde.
Diese Lücke ist der Grund, warum die meisten 70B-Projekte mit QLoRA oder LoRA beginnen. Das LoRA-Paper berichtet von Ergebnissen, die bei den getesteten Aufgaben mit vollständigem Fine-Tuning vergleichbar sind, mit 10.000-mal weniger trainierbaren Parametern.
Ist die H100 oder die A100 besser für QLoRA auf 70B?
Beide decken die 52,5-GB-Schätzung in 80 GB ab. Die H100 hat den 3,2-fachen Peak-BF16-Tensor-Durchsatz der A100 (989,5 gegenüber 312 TFLOPS dicht) und 3.350 GB/s Bandbreite (SXM) gegenüber 2.039 GB/s. Dies sind NVIDIAs Peak-Werte; die reale Trainingsgeschwindigkeit hängt von der Software ab. Die A100 kostet $0.92/Stunde und die H100 $2.32/Stunde zu unseren Preisen. Wählen Sie die A100, wenn das Budget feststeht, die H100, wenn die Frist es tut. Mehr: H100 vs A100.
Welche Software führt die jeweilige Methode aus?
Hugging Face TRL führt QLoRA und LoRA mit einem Befehl aus: --load_in_4bit --use_peft für QLoRA, --use_peft allein für LoRA. Für Multi-GPU-LoRA und vollständiges Fine-Tuning liefert TRL fertige Accelerate-Profile wie fsdp2 und zero3 (DeepSpeed ZeRO-3), übergeben mit --accelerate_config. Die Llama 3.1-Repositories auf Hugging Face sind gated: Akzeptieren Sie zuerst Metas Lizenz auf der Modellseite. Schritt-für-Schritt-Befehle: Llama auf einer gemieteten GPU fine-tunen.
Fragen zum Fine-Tuning von Llama 70B
Kann ich Llama 70B auf einer GPU fine-tunen?
Ja, mit QLoRA auf einer 80-GB-GPU: Die Schätzung liegt bei 52,5 GB. LoRA auf einer BF16-Basis passt ebenfalls auf eine GPU, aber nur auf eine 180-GB-B200. Vollständiges Fine-Tuning benötigt acht B200s oder acht H200s mit einem 8-Bit-Optimizer.
Kann ich Llama 70B auf einer RTX 4090 fine-tunen?
Nein. Selbst in 4-Bit nehmen allein die 70B-Gewichte 35 GB ein, mehr als die 24 GB der RTX 4090. Die kleinste GPU, die wir vermieten und die einen QLoRA-Lauf trägt, ist eine 80-GB-A100.
Wie viel VRAM brauche ich, um Llama 70B mit LoRA zu fine-tunen?
Etwa 140 GB für die eingefrorenen BF16-Gewichte und etwa 168 GB mit 20 % Marge für Adapter und Aktivierungen. Eine B200 (180 GB), zwei H200s (282 GB) oder vier 80-GB-GPUs decken das ab.
Wie lange dauert das Fine-Tuning von Llama 70B?
Das hängt von der Token-Anzahl Ihres Datensatzes, der Sequenzlänge und der Batch-Größe ab, und wir haben keinen Lauf gemessen, daher veröffentlichen wir keine Zeitangabe. Beginnen Sie mit einem 10-Stunden-Block, messen Sie die Schritte pro Stunde mit Ihren Daten und dimensionieren Sie dann den vollständigen Lauf.
Kann ich die GPUs mit Krypto bezahlen?
Ja. GPUwithCrypto entnimmt BTC, USDT, USDC, ETH, SOL, LTC aus einem 25 $-Guthaben, ohne ID und ohne Karte. Ungenutzte GPU-Stunden verfallen nie.
Quellen (12)
- QLoRA: Efficient Finetuning of Quantized LLMs — arXiv (read 2026-10-29)
- Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA — Hugging Face (read 2026-10-29)
- LoRA: Low-Rank Adaptation of Large Language Models — arXiv (read 2026-10-29)
- Transformer Math 101 — EleutherAI (read 2026-10-29)
- Model training anatomy (GPU memory) — Hugging Face (read 2026-10-29)
- Llama 3.1 70B Modellkarte — Meta / Hugging Face (read 2026-10-29)
- TRL-Kommandozeilenschnittstellen — Hugging Face (read 2026-10-29)
- TRL PEFT-Integration — Hugging Face (read 2026-10-29)
- NVIDIA A100 Spezifikationen — NVIDIA (read 2026-10-29)
- NVIDIA H100 Spezifikationen — NVIDIA (read 2026-10-29)
- Massed Compute-Preise vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)
- Thunder Compute-Preise thundercompute.com/pricing — Thunder Compute (read 2026-10-29)