Kurze Antwort
Wie fine-tune ich Llama auf einer gemieteten GPU?
Um Llama auf einer gemieteten GPU zu fine-tunen, trainieren Sie einen LoRA- oder QLoRA-Adapter mit Hugging Face TRL. Llama 3.1 8B braucht etwa 6 GB in QLoRA und 19,2 GB in LoRA, eine 24-GB-RTX 4090 reicht also; Llama 3.1 70B in QLoRA braucht etwa 52,5 GB, eine A100 80GB. Kopieren Sie den Adapter herunter, bevor Sie die Instanz löschen. Stand 29. Oktober 2026 vermietet GPUwithCrypto die RTX 4090 für $0.28/Stunde, zahlbar mit Krypto.
Welche GPU brauche ich, um Llama zu fine-tunen?
Speicher nach den Regeln in unserem VRAM-Leitfaden: QLoRA ≈ 0,75 GB pro Milliarde Parameter, LoRA = 2 Bytes pro Parameter × 1,2, volles Fine-Tuning 16–18 Bytes pro Parameter. Unsere Preise vom 29. Oktober 2026.
| Modell | Methode | VRAM (Regel) | GPU | GPUwithCrypto pro Stunde |
|---|---|---|---|---|
| Llama 3.1 8B | QLoRA | 6 GB | 1× RTX 4090 (24 GB) | $0.28/Stunde |
| Llama 3.1 8B | LoRA (BF16-Basis) | 19.2 GB | 1× RTX 4090 (24 GB) | $0.28/Stunde |
| Llama 3.1 8B | Volles Fine-Tuning | 128–144 GB + Aktivierungen | 1× B200 (180 GB) | $4.61/Stunde |
| Llama 3.1 70B | QLoRA | 52.5 GB | 1× A100 80GB oder 1× H100 | $0.92/Stunde oder $2.32/Stunde |
| Llama 3.1 70B | LoRA (BF16-Basis) | 168 GB | 1× B200 oder 2× H200 | $4.61/Stunde oder $6.14/Stunde |
Preise geprüft am
Disk: Die Gewichte von Llama 3.1 8B Instruct belegen 16,1 GB, die von 70B Instruct 141,1 GB. Lassen Sie Platz für Checkpoints.
Wie führe ich ein QLoRA-Fine-Tuning von Llama 3.1 8B aus?
Befehle aus der Dokumentation von Hugging Face TRL und Hub. Tauschen Sie die Modell-ID gegen meta-llama/Llama-3.1-70B-Instruct auf einer 80-GB-GPU, um das 70B-Modell auf dieselbe Weise zu trainieren. Neu bei gemieteten GPUs? Wie Sie eine GPU für KI mieten behandelt das Konto, SSH und einen ersten Job.
Die GPU mieten
Starten Sie eine 1× RTX 4090-Instanz für das 8B-Modell oder eine 1× A100 80GB für 70B. Jede Instanz gibt Ihnen ganze GPUs, nie einen zeitlich geteilten Slice oder eine MIG-Partition. Sie erhalten Root-SSH-Zugang zu Ubuntu mit installiertem NVIDIA-Treiber, CUDA und PyTorch oder starten aus Ihrem eigenen Docker-Image.
Zugang zu Llama erhalten
Die meta-llama-Repositories auf Hugging Face sind gated: Beantragen Sie den Zugang auf der Modellseite und akzeptieren Sie Metas Lizenz, dann führen Sie
hf auth loginauf der Instanz mit einem Read-Token aus.TRL, PEFT und bitsandbytes installieren
pip install "trl[peft]" bitsandbytes. bitsandbytes liefert das 4-Bit-Laden, das QLoRA braucht.Einen Datensatz wählen
Verwenden Sie eine Hugging-Face-Dataset-ID oder Ihre eigene Datei mit Konversationen. Das Beispiel nutzt
trl-lib/Capybara, den Datensatz aus TRLs eigenen Beispielen.Den Adapter trainieren
Führen Sie den
trl sft-Befehl unten intmuxaus.--load_in_4bitlädt die Basis in 4 Bit,--use_peftfügt den LoRA-Adapter hinzu, und die Checkpoints landen in--output_dir.Den Adapter testen
Laden Sie das Basismodell, hängen Sie den Adapter mit PEFT an und vergleichen Sie die Antworten mit dem Basismodell anhand Ihrer eigenen Prompts.
Den Adapter herunterkopieren, dann löschen
Jede Instanz hat eine lokale NVMe-Disk, dimensioniert für ihre GPU und vor dem Start angezeigt. Die Disk wird beim Löschen der Instanz gewischt, kopieren Sie Ihre Checkpoints also vorher heraus. Kopieren Sie den Ausgabeordner auf Ihren Rechner oder pushen Sie ihn in ein privates Hugging-Face-Repository, dann löschen Sie die Instanz.
pip install "trl[peft]" bitsandbytes
hf auth login
trl sft \
--model_name_or_path meta-llama/Llama-3.1-8B-Instruct \
--dataset_name trl-lib/Capybara \
--load_in_4bit \
--use_peft \
--lora_r 32 \
--lora_alpha 16 \
--lora_target_modules q_proj k_proj v_proj o_proj gate_proj up_proj down_proj \
--learning_rate 2.0e-4 \
--num_train_epochs 1 \
--per_device_train_batch_size 1 \
--gradient_accumulation_steps 16 \
--gradient_checkpointing \
--save_strategy steps \
--save_steps 200 \
--output_dir llama-3.1-8b-qlora
Was bewirken die wichtigsten Trainings-Flags?
--lora_r 32 --lora_alpha 16: Rang und Skalierung des Adapters, die Werte aus TRLs PEFT-Beispielen. Rang 32 auf allen sieben linearen Schichten von Llama 3.1 8B trainiert etwa 84 Millionen Parameter, rund 1 % des Modells.--learning_rate 2.0e-4: TRLs Dokumentation empfiehlt etwa das 10-fache der Rate für volles Fine-Tuning (2,0e-5) für LoRA.--per_device_train_batch_size 1 --gradient_accumulation_steps 16: eine effektive Batch von 16 mit dem Speicher einer Batch von 1.--gradient_checkpointing: berechnet Aktivierungen neu, statt sie zu speichern, und tauscht Zeit gegen Speicher.--save_strategy steps --save_steps 200: schreibt alle 200 Schritte einen Checkpoint, sodass ein Absturz höchstens 200 Schritte kostet.
# from your computer: copy the adapter folder before you delete the instance
rsync -avP -e "ssh -p SSH_PORT" root@HOST:/root/llama-3.1-8b-qlora/ ./llama-3.1-8b-qlora/
# or, on the instance: create a private repo on huggingface.co first, then upload
hf upload your-name/llama-3.1-8b-qlora ./llama-3.1-8b-qlora .
# later, serve the base model with the adapter in vLLM
vllm serve meta-llama/Llama-3.1-8B-Instruct \
--enable-lora --max-lora-rank 32 \
--lora-modules my-adapter=./llama-3.1-8b-qlora
Was kostet das Fine-Tuning von Llama auf einer gemieteten GPU?
Kosten = GPUs × Wanduhr-Stunden × Preis pro GPU-Stunde. Die Stunden unten sind Annahmen zur Veranschaulichung, keine Messungen: Die Laufzeit hängt von den Tokens Ihres Datensatzes, der Sequenzlänge und der Batch-Größe ab. Wir haben Stunden gewählt, die zu unseren Blöcken von 10 und 24 GPU-Stunden passen. GPU-Stunden werden in Blöcken von 10, 24, 168 oder 720 Stunden für ein GPU-Modell zum selben Stundensatz verkauft; Instanzen dieser GPU beziehen sie minutengenau, und ungenutzte Stunden verfallen nie. Jede GPU und jeder Block ist auf GPU-Preise aufgeführt.
Eine kleine GPU ist die größte Ersparnis. Laut Preischeck von GPUwithCrypto vom 29. Oktober 2026 kostete die günstigste Self-Serve-On-Demand-RTX 4090 $0.33 pro Stunde (Salad) und die günstigste H100 $2.73 (Massed Compute): 8,3-mal mehr, für einen 8B-QLoRA-Job, der so oder so in 24 GB passt. Die RTX 4090-Preisseite listet die Anbieter auf, die wir geprüft haben.
Laufkostenschätzung unter angenommenen Stunden
| Job | Konfiguration | Angenommene Stunden (nicht gemessen) | GPU-Stunden | GPUwithCrypto Kosten |
|---|---|---|---|---|
| Llama 3.1 8B, QLoRA | 1× RTX 4090 | 10 | 10 | 2,80 $ |
| Llama 3.1 8B, LoRA | 1× RTX 4090 | 24 | 24 | 6,72 $ |
| Llama 3.1 70B, QLoRA | 1× A100 80GB | 24 | 24 | 22,08 $ |
| Llama 3.1 70B, LoRA | 2× H200 | 12 | 24 | 73,68 $ |
Preise geprüft am
Wie vermeide ich es, Arbeit auf einer gemieteten GPU zu verlieren?
Speichern Sie oft, kopieren Sie Ergebnisse früh herunter und behalten Sie das Guthaben im Blick. Instanzen sind On-Demand, nicht Spot: Niemand kann Ihnen die GPU wegnehmen, solange Ihr Guthaben reicht, und die Instanz läuft, bis Sie sie stoppen. Wenn die GPU-Stunden einer GPU aufgebraucht sind, stoppen ihre Instanzen und ihre Disks bleiben erhalten; ein neuer Stundenblock lässt Sie sie wieder starten. Wenn ein Lauf stoppt, setzt der Trainer von Hugging Face vom letzten Checkpoint im Ausgabeordner fort, wenn Sie trainer.train(resume_from_checkpoint=True) aus Python aufrufen. Unsloth und Axolotl sind zwei weitere bekannte LoRA-Tools; dieser Leitfaden verwendet TRL, weil dessen Kommandozeilen-Flags auf den Seiten von Hugging Face selbst dokumentiert sind.
Fragen zum Fine-Tuning von Llama
Wie viel VRAM brauche ich, um Llama 3.1 8B zu fine-tunen?
Etwa 6 GB mit QLoRA und 19,2 GB mit LoRA auf einer BF16-Basis, also laufen beide auf einer 24-GB-RTX 4090. Volles Fine-Tuning braucht 128 bis 144 GB vor den Aktivierungen, eine 180-GB-B200.
Kann ich Llama 70B auf einer GPU fine-tunen?
Ja, mit QLoRA auf einer 80-GB-A100 oder H100: die Schätzung liegt bei 52,5 GB. LoRA auf einer BF16-Basis braucht etwa 168 GB, eine B200 oder zwei H200. Mehr in der besten GPU zum Fine-Tuning von Llama 70B.
Soll ich LoRA oder QLoRA verwenden?
QLoRA, wenn der Speicher die Grenze ist: Es lädt das Basismodell in 4-Bit und teilt den Speicher gegenüber LoRA grob durch drei. LoRA, wenn die GPU Platz hat: Die Basis bleibt in BF16. Vergleichen Sie beide Adapter auf Ihrem eigenen Evaluationsdatensatz.
Wie lange dauert das Fine-Tuning von Llama?
Das hängt von der Anzahl der Trainings-Tokens, der Sequenzlänge und der Batch-Größe ab, und wir haben keinen Lauf gemessen, daher geben wir keine Zeitangabe. Ein 10-Stunden-Block reicht, um Ihre Schritte pro Stunde vor einem langen Lauf zu messen.
Kann ich die GPU mit Krypto bezahlen?
Ja. GPUwithCrypto nimmt BTC, USDT, USDC, ETH, SOL, LTC, XMR aus einem 1 $-Guthaben, ohne ID und ohne Karte. Instanzen werden pro Minute zum Stundensatz abgerechnet, solange sie laufen, aus den GPU-Stunden, die Sie für diese GPU gekauft haben. Das Stoppen einer Instanz beendet die Abrechnung sofort.
Quellen (12)
- TRL-Kommandozeilenschnittstellen — Hugging Face (read 2026-10-29)
- TRL-PEFT-Integration (LoRA, QLoRA, Speichern von Adaptern) — Hugging Face (read 2026-10-29)
- Hugging-Face-CLI-Leitfaden (hf auth login, hf upload) — Hugging Face (read 2026-10-29)
- Trainer und TrainingArguments — Hugging Face (read 2026-10-29)
- Modellkarte Llama 3.1 8B — Meta / Hugging Face (read 2026-10-29)
- Llama 3.1 70B Modellkarte — Meta / Hugging Face (read 2026-10-29)
- The Llama 3 Herd of Models (Tabelle 3) — arXiv (read 2026-10-29)
- QLoRA: Efficient Finetuning of Quantized LLMs — arXiv (read 2026-10-29)
- LoRA: Low-Rank Adaptation of Large Language Models — arXiv (read 2026-10-29)
- vLLM-Rezepte (LoRA-Serving-Flags) — vLLM project (read 2026-10-29)
- Preisänderungen bei SaladCloud, November 2026 blog.salad.com/saladcloud-price-changes-november-2026 — Salad (read 2026-10-29)
- Massed Compute-Preise vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)