# Kiralık bir GPU'da Llama'yı nasıl fine-tune ederim?

> Kiralık GPU'da QLoRA veya LoRA ile Llama nasıl fine-tune edilir: TRL komutları, 6 GB ve adapter'ı silmeden önce kaydetme. Kripto ile ödeme.

- URL: https://gpuwithcrypto.com/tr/guides/fine-tune-llama-on-rented-gpu/
- Son güncelleme: 2026-10-29
- Yayıncı: GPUwithCrypto (https://gpuwithcrypto.com)

LoRA veya QLoRA adapter'ı, Llama'ya verinizi öğretmenin en ucuz yoludur. Bu rehber GPU'yu seçer, eğitimi Hugging Face TRL ile çalıştırır ve disk silinmeden önce adapter'ı makineden alır.

**Kısa yanıt — Kiralık bir GPU'da Llama'yı nasıl fine-tune ederim?**

Kiralık bir GPU'da Llama'ya ince ayar yapmak için Hugging Face TRL ile bir LoRA veya QLoRA adapter'ı eğitin. Llama 3.1 8B, QLoRA'da yaklaşık 6 GB, LoRA'da 19.2 GB bellek ister; yani tek bir 24 GB RTX 4090 yeterlidir; QLoRA'daki Llama 3.1 70B ise yaklaşık 52.5 GB ister, tek bir A100 80GB. Instance'ı silmeden önce adapter'ı kopyalayıp alın. 29 Ekim 2026 itibarıyla **GPUwithCrypto**, RTX 4090'ı $0.28/saat karşılığında, kripto ile ödeme alarak kiralıyor.

## Llama'ya ince ayar için hangi GPU'ya ihtiyacım var?

Bellek, [VRAM rehberimizde](https://gpuwithcrypto.com/tr/how-much-vram-do-i-need/ "Bir LLM'i çalıştırmak veya fine-tune etmek için ne kadar VRAM gerekli?")ki kurallara göre: QLoRA ≈ milyar parametre başına 0.75 GB, LoRA = parametre başına 2 bayt × 1.2, tam ince ayar parametre başına 16–18 bayt. 29 Ekim 2026 tarihli fiyatlarımız.

| Model | Yöntem | VRAM (kural) | GPU | Saat başına GPUwithCrypto |
| --- | --- | --- | --- | --- |
| Llama 3.1 8B | QLoRA | 6 GB | 1× RTX 4090 (24 GB) | $0.28/saat |
| Llama 3.1 8B | LoRA (BF16 taban) | 19.2 GB | 1× RTX 4090 (24 GB) | $0.28/saat |
| Llama 3.1 8B | Tam ince ayar | 128–144 GB + aktivasyonlar | 1× B200 (180 GB) | $4.61/saat |
| Llama 3.1 70B | QLoRA | 52.5 GB | 1× A100 80GB veya 1× H100 | $0.92/saat veya $2.32/saat |
| Llama 3.1 70B | LoRA (BF16 taban) | 168 GB | 1× B200 veya 2× H200 | $4.61/saat veya $6.14/saat |

*Fiyatlar 29 Ekim 2026 tarihinde kontrol edildi.*

Disk: Llama 3.1 8B Instruct ağırlıkları 16.1 GB, 70B Instruct ağırlıkları 141.1 GB yer kaplar. Checkpoint'ler için yer bırakın.

## Llama 3.1 8B için QLoRA ince ayarını nasıl çalıştırırım?

Komutlar Hugging Face TRL ve Hub belgelerinden alınmıştır. 80 GB'lık bir GPU'da 70B modelini de aynı şekilde eğitmek için model id'sini `meta-llama/Llama-3.1-70B-Instruct` ile değiştirin. Kiralık GPU'larda yeni misiniz? [Yapay zeka için GPU nasıl kiralanır](https://gpuwithcrypto.com/tr/guides/rent-a-gpu-for-ai/ "AI için adım adım GPU nasıl kiralarım?") hesabı, SSH'i ve ilk işi anlatır.

1. **GPU'yu kiralayın** — 8B model için 1× RTX 4090 instance'ı, 70B için 1× A100 80GB başlatın. Her instance size tam GPU'lar verir, asla zaman paylaşımlı bir dilim veya MIG bölümü değil. Ubuntu'ya root SSH erişimi alırsınız; NVIDIA sürücüsü, CUDA ve PyTorch kuruludur veya kendi Docker imajınızdan başlarsınız.
2. **Llama'ya erişim alın** — Hugging Face'teki meta-llama depoları kapalıdır: model sayfasında erişim isteyin ve Meta'nın lisansını kabul edin, ardından instance'ta okuma token'ıyla hf auth login komutunu çalıştırın.
3. **TRL, PEFT ve bitsandbytes kurun** — pip install "trl[peft]" bitsandbytes. bitsandbytes, QLoRA'nın ihtiyaç duyduğu 4-bit yüklemeyi sağlar.
4. **Bir veri kümesi seçin** — Bir Hugging Face veri kümesi id'si veya kendi konuşma dosyanızı kullanın. Örnek, TRL'nin kendi örneklerindeki trl-lib/Capybara veri kümesini kullanır.
5. **Adapter'ı eğitin** — Aşağıdaki trl sft komutunu tmux içinde çalıştırın. --load_in_4bit temel modeli 4-bit yükler, --use_peft LoRA adapter'ını ekler ve checkpoint'ler --output_dir dizinine yazılır.
6. **Adapter'ı test edin** — Temel modeli yükleyin, adapter'ı PEFT ile bağlayın ve kendi prompt'larınızda yanıtları temel modelle karşılaştırın.
7. **Adapter'ı kopyalayıp alın, sonra silin** — Her instance'ta, GPU'suna göre boyutlandırılmış ve başlamadan önce gösterilen yerel NVMe diski vardır. Instance'ı sildiğinizde disk silinir, bu yüzden checkpoint'lerinizi önce kopyalayın. Çıktı klasörünü bilgisayarınıza kopyalayın veya özel bir Hugging Face deposuna gönderin, ardından instance'ı silin.

*train-qlora.sh*

```bash
pip install "trl[peft]" bitsandbytes
hf auth login

trl sft \
  --model_name_or_path meta-llama/Llama-3.1-8B-Instruct \
  --dataset_name trl-lib/Capybara \
  --load_in_4bit \
  --use_peft \
  --lora_r 32 \
  --lora_alpha 16 \
  --lora_target_modules q_proj k_proj v_proj o_proj gate_proj up_proj down_proj \
  --learning_rate 2.0e-4 \
  --num_train_epochs 1 \
  --per_device_train_batch_size 1 \
  --gradient_accumulation_steps 16 \
  --gradient_checkpointing \
  --save_strategy steps \
  --save_steps 200 \
  --output_dir llama-3.1-8b-qlora

```

## Ana eğitim bayrakları ne işe yarar?

- `--lora_r 32 --lora_alpha 16`: adapter'ın rank'ı ve ölçeklemesi, TRL'nin PEFT örneklerindeki değerler. Llama 3.1 8B'nin yedi doğrusal katmanının tamamında rank 32, yaklaşık 84 milyon parametre eğitir, modelin yaklaşık %1'i.
- `--learning_rate 2.0e-4`: TRL belgeleri LoRA için tam ince ayar oranının (2.0e-5) yaklaşık 10 katını önerir.
- `--per_device_train_batch_size 1 --gradient_accumulation_steps 16`: 1'lik batch belleğiyle 16'lık etkin batch.
- `--gradient_checkpointing`: aktivasyonları saklamak yerine yeniden hesaplar, zamandan bellek lehine ödün verir.
- `--save_strategy steps --save_steps 200`: her 200 adımda bir checkpoint yazar, böylece bir çökme en fazla 200 adıma mal olur.

*save-adapter.sh*

```bash
# from your computer: copy the adapter folder before you delete the instance
rsync -avP -e "ssh -p SSH_PORT" root@HOST:/root/llama-3.1-8b-qlora/ ./llama-3.1-8b-qlora/

# or, on the instance: create a private repo on huggingface.co first, then upload
hf upload your-name/llama-3.1-8b-qlora ./llama-3.1-8b-qlora .

# later, serve the base model with the adapter in vLLM
vllm serve meta-llama/Llama-3.1-8B-Instruct \
  --enable-lora --max-lora-rank 32 \
  --lora-modules my-adapter=./llama-3.1-8b-qlora

```

## Kiralık GPU'da Llama ince ayarının maliyeti nedir?

Maliyet = GPU sayısı × geçen saat × GPU-saat başına fiyat. **Aşağıdaki saatler örnekleme amaçlı varsayımlardır, ölçüm değildir**: çalışma süresi veri kümenizin token'larına, dizi uzunluğuna ve batch boyutuna bağlıdır. 10 ve 24 GPU-saatlik bloklarımıza uyan saatleri seçtik. GPU-saatler tek bir GPU modeli için 10, 24, 168 veya 720 saatlik bloklar halinde, aynı saatlik ücretle satılır; o GPU'nun instance'ları bunlardan dakika başına çeker ve kullanılmayan saatler hiçbir zaman sona ermez. Her GPU ve blok [GPU fiyatlandırmasında](https://gpuwithcrypto.com/tr/pricing/ "GPUwithCrypto üzerinde bir bulut GPU saati ne kadar?") listelenir.

Küçük bir GPU en büyük tasarruftur. GPUwithCrypto'nin 29 Ekim 2026 tarihli fiyat kontrolüne göre, en düşük self-servis isteğe bağlı RTX 4090 saat başına $0.33 (Salad) ve en düşük H100 $2.73 (Massed Compute) idi: 8.3 kat daha fazla, oysa 8B'lik bir QLoRA işi her iki durumda da 24 GB'a sığar. [RTX 4090 fiyat sayfası](https://gpuwithcrypto.com/tr/gpu-prices/rtx-4090/ "RTX 4090'ı saatlik kiralamak ne kadar?") kontrol ettiğimiz sağlayıcıları listeler.

### Varsayılan saatlere göre çalıştırma maliyeti tahmini

| İş | Yapılandırma | Varsayılan saatler (ölçülmedi) | GPU-saat | GPUwithCrypto maliyet |
| --- | --- | --- | --- | --- |
| Llama 3.1 8B, QLoRA | 1× RTX 4090 | 10 | 10 | $2,80 |
| Llama 3.1 8B, LoRA | 1× RTX 4090 | 24 | 24 | $6,72 |
| Llama 3.1 70B, QLoRA | 1× A100 80GB | 24 | 24 | $22,08 |
| Llama 3.1 70B, LoRA | 2× H200 | 12 | 24 | $73,68 |

*Fiyatlar 29 Ekim 2026 tarihinde kontrol edildi.*

## Kiralık bir GPU'da çalışmalarımı kaybetmeyi nasıl önlerim?

Sık sık kaydedin, çıktıları erken kopyalayın ve bakiyeyi takip edin. Instance'lar on-demand'dır, spot değil: bakiyeniz yettiği sürece kimse GPU'nuzu geri alamaz ve instance siz durdurana kadar çalışır. Bir GPU'nun GPU-saatleri tükendiğinde, o GPU'nun instance'ları durur ve diskleri korunur; yeni bir saat bloğu bunları yeniden başlatmanızı sağlar. Bir çalışma durursa, Python'dan `trainer.train(resume_from_checkpoint=True)` çağırdığınızda Hugging Face'in Trainer'ı çıktı klasöründeki son checkpoint'ten devam eder. Unsloth ve Axolotl, bilinen diğer iki LoRA aracıdır; bu rehberde TRL kullanılıyor çünkü komut satırı bayrakları Hugging Face'in kendi sayfalarında belgelenmiş.

## Llama fine-tuning soruları

### Llama 3.1 8B'yi fine-tune etmek için ne kadar VRAM gerekir?

BF16 taban modelde QLoRA ile yaklaşık 6 GB, LoRA ile 19.2 GB, yani 24 GB'lık bir RTX 4090 ikisini de çalıştırır. Tam fine-tuning ise aktivasyonlar hariç 128 ila 144 GB gerektirir, yani bir adet 180 GB B200.

### Llama 70B'yi tek GPU'da fine-tune edebilir miyim?

Evet, 80 GB A100 veya H100 üzerinde QLoRA ile mümkün: tahmini 52.5 GB. BF16 taban modelde LoRA yaklaşık 168 GB gerektirir, yani bir B200 veya iki H200. Daha fazlası [Llama 70B fine-tune etmek için en iyi GPU](https://gpuwithcrypto.com/tr/best-gpu-for/fine-tuning-llama-70b/ "Llama 70B'yi fine-tune etmek için en iyi GPU hangisi (LoRA, QLoRA, full)?") yazısında.

### LoRA mı yoksa QLoRA mı kullanmalıyım?

Bellek sınırı olduğunda QLoRA: temel modeli 4-bit olarak yükler ve belleği LoRA'ya göre kabaca üçe böler. GPU'da yer varsa LoRA: temel model BF16 olarak kalır. İki adapter'ı kendi değerlendirme setinizde karşılaştırın.

### Llama fine-tuning ne kadar sürer?

Eğitim token'larının sayısına, dizi uzunluğuna ve batch size'a bağlıdır ve bir çalışma ölçmediğimiz için süre vermiyoruz. 10 saatlik bir blok, uzun bir çalışma öncesinde saatte kaç adım attığınızı ölçmek için yeterlidir.

### GPU'nun parasını kripto ile ödeyebilir miyim?

Evet. GPUwithCrypto, bir $1 bakiyesi yüklemesinden BTC, USDT, USDC, ETH, SOL, LTC, XMR kabul eder; kimlik yok, kart yok. Instances, çalıştıkları sürece saatlik ücret üzerinden dakika başına faturalandırılır ve o GPU için satın aldığınız GPU-saatlerden düşülür. Bir instance durdurulduğunda ücretlendirme anında durur.

## Kaynaklar

1. [TRL komut satırı arayüzleri](https://huggingface.co/docs/trl/clis) — Hugging Face (read 2026-10-29)
2. [TRL PEFT entegrasyonu (LoRA, QLoRA, adapter kaydetme)](https://huggingface.co/docs/trl/peft_integration) — Hugging Face (read 2026-10-29)
3. [Hugging Face CLI rehberi (hf auth login, hf upload)](https://huggingface.co/docs/huggingface_hub/guides/cli) — Hugging Face (read 2026-10-29)
4. [Trainer ve TrainingArguments](https://huggingface.co/docs/transformers/main_classes/trainer) — Hugging Face (read 2026-10-29)
5. [Llama 3.1 8B model kartı](https://huggingface.co/meta-llama/Llama-3.1-8B) — Meta / Hugging Face (read 2026-10-29)
6. [Llama 3.1 70B model kartı](https://huggingface.co/meta-llama/Llama-3.1-70B) — Meta / Hugging Face (read 2026-10-29)
7. [The Llama 3 Herd of Models (Tablo 3)](https://arxiv.org/abs/2407.21783) — arXiv (read 2026-10-29)
8. [QLoRA: Efficient Finetuning of Quantized LLMs](https://arxiv.org/abs/2305.14314) — arXiv (read 2026-10-29)
9. [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685) — arXiv (read 2026-10-29)
10. [vLLM tarifleri (LoRA sunma bayrakları)](https://recipes.vllm.ai/) — vLLM project (read 2026-10-29)
11. [SaladCloud fiyat değişiklikleri, Kasım 2026](https://blog.salad.com/saladcloud-price-changes-november-2026) — Salad (read 2026-10-29)
12. [Massed Compute fiyatlandırması](https://vm.massedcompute.com/pricing) — Massed Compute (read 2026-10-29)

---

GPUwithCrypto: GPUwithCrypto, bulut GPU'ları (NVIDIA H100, H200, B200, A100, L40S, RTX 4090 ve RTX 5090) dakikasına göre, KYC olmadan kripto ile ödeme alarak kiralar; her GPU, 29 Ekim 2026 tarihinde okunan adı belirtilmiş bir on-demand referans fiyatın en az %15 altında fiyatlandırılır.