Kısa yanıt
Kiralık bir GPU'da Llama'yı nasıl fine-tune ederim?
Kiralık bir GPU'da Llama'ya ince ayar yapmak için Hugging Face TRL ile bir LoRA veya QLoRA adapter'ı eğitin. Llama 3.1 8B, QLoRA'da yaklaşık 6 GB, LoRA'da 19.2 GB bellek ister; yani tek bir 24 GB RTX 4090 yeterlidir; QLoRA'daki Llama 3.1 70B ise yaklaşık 52.5 GB ister, tek bir A100 80GB. Instance'ı silmeden önce adapter'ı kopyalayıp alın. 29 Ekim 2026 itibarıyla GPUwithCrypto, RTX 4090'ı $0.28/saat karşılığında, kripto ile ödeme alarak kiralıyor.
Llama'ya ince ayar için hangi GPU'ya ihtiyacım var?
Bellek, VRAM rehberimizdeki kurallara göre: QLoRA ≈ milyar parametre başına 0.75 GB, LoRA = parametre başına 2 bayt × 1.2, tam ince ayar parametre başına 16–18 bayt. 29 Ekim 2026 tarihli fiyatlarımız.
| Model | Yöntem | VRAM (kural) | GPU | Saat başına GPUwithCrypto |
|---|---|---|---|---|
| Llama 3.1 8B | QLoRA | 6 GB | 1× RTX 4090 (24 GB) | $0.28/saat |
| Llama 3.1 8B | LoRA (BF16 taban) | 19.2 GB | 1× RTX 4090 (24 GB) | $0.28/saat |
| Llama 3.1 8B | Tam ince ayar | 128–144 GB + aktivasyonlar | 1× B200 (180 GB) | $4.61/saat |
| Llama 3.1 70B | QLoRA | 52.5 GB | 1× A100 80GB veya 1× H100 | $0.92/saat veya $2.32/saat |
| Llama 3.1 70B | LoRA (BF16 taban) | 168 GB | 1× B200 veya 2× H200 | $4.61/saat veya $6.14/saat |
Fiyatlar tarihinde kontrol edildi
Disk: Llama 3.1 8B Instruct ağırlıkları 16.1 GB, 70B Instruct ağırlıkları 141.1 GB yer kaplar. Checkpoint'ler için yer bırakın.
Llama 3.1 8B için QLoRA ince ayarını nasıl çalıştırırım?
Komutlar Hugging Face TRL ve Hub belgelerinden alınmıştır. 80 GB'lık bir GPU'da 70B modelini de aynı şekilde eğitmek için model id'sini meta-llama/Llama-3.1-70B-Instruct ile değiştirin. Kiralık GPU'larda yeni misiniz? Yapay zeka için GPU nasıl kiralanır hesabı, SSH'i ve ilk işi anlatır.
GPU'yu kiralayın
8B model için 1× RTX 4090 instance'ı, 70B için 1× A100 80GB başlatın. Her instance size tam GPU'lar verir, asla zaman paylaşımlı bir dilim veya MIG bölümü değil. Ubuntu'ya root SSH erişimi alırsınız; NVIDIA sürücüsü, CUDA ve PyTorch kuruludur veya kendi Docker imajınızdan başlarsınız.
Llama'ya erişim alın
Hugging Face'teki meta-llama depoları kapalıdır: model sayfasında erişim isteyin ve Meta'nın lisansını kabul edin, ardından instance'ta okuma token'ıyla
hf auth loginkomutunu çalıştırın.TRL, PEFT ve bitsandbytes kurun
pip install "trl[peft]" bitsandbytes. bitsandbytes, QLoRA'nın ihtiyaç duyduğu 4-bit yüklemeyi sağlar.Bir veri kümesi seçin
Bir Hugging Face veri kümesi id'si veya kendi konuşma dosyanızı kullanın. Örnek, TRL'nin kendi örneklerindeki
trl-lib/Capybaraveri kümesini kullanır.Adapter'ı eğitin
Aşağıdaki
trl sftkomutunutmuxiçinde çalıştırın.--load_in_4bittemel modeli 4-bit yükler,--use_peftLoRA adapter'ını ekler ve checkpoint'ler--output_dirdizinine yazılır.Adapter'ı test edin
Temel modeli yükleyin, adapter'ı PEFT ile bağlayın ve kendi prompt'larınızda yanıtları temel modelle karşılaştırın.
Adapter'ı kopyalayıp alın, sonra silin
Her instance'ta, GPU'suna göre boyutlandırılmış ve başlamadan önce gösterilen yerel NVMe diski vardır. Instance'ı sildiğinizde disk silinir, bu yüzden checkpoint'lerinizi önce kopyalayın. Çıktı klasörünü bilgisayarınıza kopyalayın veya özel bir Hugging Face deposuna gönderin, ardından instance'ı silin.
pip install "trl[peft]" bitsandbytes
hf auth login
trl sft \
--model_name_or_path meta-llama/Llama-3.1-8B-Instruct \
--dataset_name trl-lib/Capybara \
--load_in_4bit \
--use_peft \
--lora_r 32 \
--lora_alpha 16 \
--lora_target_modules q_proj k_proj v_proj o_proj gate_proj up_proj down_proj \
--learning_rate 2.0e-4 \
--num_train_epochs 1 \
--per_device_train_batch_size 1 \
--gradient_accumulation_steps 16 \
--gradient_checkpointing \
--save_strategy steps \
--save_steps 200 \
--output_dir llama-3.1-8b-qlora
Ana eğitim bayrakları ne işe yarar?
--lora_r 32 --lora_alpha 16: adapter'ın rank'ı ve ölçeklemesi, TRL'nin PEFT örneklerindeki değerler. Llama 3.1 8B'nin yedi doğrusal katmanının tamamında rank 32, yaklaşık 84 milyon parametre eğitir, modelin yaklaşık %1'i.--learning_rate 2.0e-4: TRL belgeleri LoRA için tam ince ayar oranının (2.0e-5) yaklaşık 10 katını önerir.--per_device_train_batch_size 1 --gradient_accumulation_steps 16: 1'lik batch belleğiyle 16'lık etkin batch.--gradient_checkpointing: aktivasyonları saklamak yerine yeniden hesaplar, zamandan bellek lehine ödün verir.--save_strategy steps --save_steps 200: her 200 adımda bir checkpoint yazar, böylece bir çökme en fazla 200 adıma mal olur.
# from your computer: copy the adapter folder before you delete the instance
rsync -avP -e "ssh -p SSH_PORT" root@HOST:/root/llama-3.1-8b-qlora/ ./llama-3.1-8b-qlora/
# or, on the instance: create a private repo on huggingface.co first, then upload
hf upload your-name/llama-3.1-8b-qlora ./llama-3.1-8b-qlora .
# later, serve the base model with the adapter in vLLM
vllm serve meta-llama/Llama-3.1-8B-Instruct \
--enable-lora --max-lora-rank 32 \
--lora-modules my-adapter=./llama-3.1-8b-qlora
Kiralık GPU'da Llama ince ayarının maliyeti nedir?
Maliyet = GPU sayısı × geçen saat × GPU-saat başına fiyat. Aşağıdaki saatler örnekleme amaçlı varsayımlardır, ölçüm değildir: çalışma süresi veri kümenizin token'larına, dizi uzunluğuna ve batch boyutuna bağlıdır. 10 ve 24 GPU-saatlik bloklarımıza uyan saatleri seçtik. GPU-saatler tek bir GPU modeli için 10, 24, 168 veya 720 saatlik bloklar halinde, aynı saatlik ücretle satılır; o GPU'nun instance'ları bunlardan dakika başına çeker ve kullanılmayan saatler hiçbir zaman sona ermez. Her GPU ve blok GPU fiyatlandırmasında listelenir.
Küçük bir GPU en büyük tasarruftur. GPUwithCrypto'nin 29 Ekim 2026 tarihli fiyat kontrolüne göre, en düşük self-servis isteğe bağlı RTX 4090 saat başına $0.33 (Salad) ve en düşük H100 $2.73 (Massed Compute) idi: 8.3 kat daha fazla, oysa 8B'lik bir QLoRA işi her iki durumda da 24 GB'a sığar. RTX 4090 fiyat sayfası kontrol ettiğimiz sağlayıcıları listeler.
Varsayılan saatlere göre çalıştırma maliyeti tahmini
| İş | Yapılandırma | Varsayılan saatler (ölçülmedi) | GPU-saat | GPUwithCrypto maliyet |
|---|---|---|---|---|
| Llama 3.1 8B, QLoRA | 1× RTX 4090 | 10 | 10 | $2,80 |
| Llama 3.1 8B, LoRA | 1× RTX 4090 | 24 | 24 | $6,72 |
| Llama 3.1 70B, QLoRA | 1× A100 80GB | 24 | 24 | $22,08 |
| Llama 3.1 70B, LoRA | 2× H200 | 12 | 24 | $73,68 |
Fiyatlar tarihinde kontrol edildi
Kiralık bir GPU'da çalışmalarımı kaybetmeyi nasıl önlerim?
Sık sık kaydedin, çıktıları erken kopyalayın ve bakiyeyi takip edin. Instance'lar on-demand'dır, spot değil: bakiyeniz yettiği sürece kimse GPU'nuzu geri alamaz ve instance siz durdurana kadar çalışır. Bir GPU'nun GPU-saatleri tükendiğinde, o GPU'nun instance'ları durur ve diskleri korunur; yeni bir saat bloğu bunları yeniden başlatmanızı sağlar. Bir çalışma durursa, Python'dan trainer.train(resume_from_checkpoint=True) çağırdığınızda Hugging Face'in Trainer'ı çıktı klasöründeki son checkpoint'ten devam eder. Unsloth ve Axolotl, bilinen diğer iki LoRA aracıdır; bu rehberde TRL kullanılıyor çünkü komut satırı bayrakları Hugging Face'in kendi sayfalarında belgelenmiş.
Llama fine-tuning soruları
Llama 3.1 8B'yi fine-tune etmek için ne kadar VRAM gerekir?
BF16 taban modelde QLoRA ile yaklaşık 6 GB, LoRA ile 19.2 GB, yani 24 GB'lık bir RTX 4090 ikisini de çalıştırır. Tam fine-tuning ise aktivasyonlar hariç 128 ila 144 GB gerektirir, yani bir adet 180 GB B200.
Llama 70B'yi tek GPU'da fine-tune edebilir miyim?
Evet, 80 GB A100 veya H100 üzerinde QLoRA ile mümkün: tahmini 52.5 GB. BF16 taban modelde LoRA yaklaşık 168 GB gerektirir, yani bir B200 veya iki H200. Daha fazlası Llama 70B fine-tune etmek için en iyi GPU yazısında.
LoRA mı yoksa QLoRA mı kullanmalıyım?
Bellek sınırı olduğunda QLoRA: temel modeli 4-bit olarak yükler ve belleği LoRA'ya göre kabaca üçe böler. GPU'da yer varsa LoRA: temel model BF16 olarak kalır. İki adapter'ı kendi değerlendirme setinizde karşılaştırın.
Llama fine-tuning ne kadar sürer?
Eğitim token'larının sayısına, dizi uzunluğuna ve batch size'a bağlıdır ve bir çalışma ölçmediğimiz için süre vermiyoruz. 10 saatlik bir blok, uzun bir çalışma öncesinde saatte kaç adım attığınızı ölçmek için yeterlidir.
GPU'nun parasını kripto ile ödeyebilir miyim?
Evet. GPUwithCrypto, bir $1 bakiyesi yüklemesinden BTC, USDT, USDC, ETH, SOL, LTC, XMR kabul eder; kimlik yok, kart yok. Instances, çalıştıkları sürece saatlik ücret üzerinden dakika başına faturalandırılır ve o GPU için satın aldığınız GPU-saatlerden düşülür. Bir instance durdurulduğunda ücretlendirme anında durur.
Kaynaklar (12)
- TRL komut satırı arayüzleri — Hugging Face (read 2026-10-29)
- TRL PEFT entegrasyonu (LoRA, QLoRA, adapter kaydetme) — Hugging Face (read 2026-10-29)
- Hugging Face CLI rehberi (hf auth login, hf upload) — Hugging Face (read 2026-10-29)
- Trainer ve TrainingArguments — Hugging Face (read 2026-10-29)
- Llama 3.1 8B model kartı — Meta / Hugging Face (read 2026-10-29)
- Llama 3.1 70B model kartı — Meta / Hugging Face (read 2026-10-29)
- The Llama 3 Herd of Models (Tablo 3) — arXiv (read 2026-10-29)
- QLoRA: Efficient Finetuning of Quantized LLMs — arXiv (read 2026-10-29)
- LoRA: Low-Rank Adaptation of Large Language Models — arXiv (read 2026-10-29)
- vLLM tarifleri (LoRA sunma bayrakları) — vLLM project (read 2026-10-29)
- SaladCloud fiyat değişiklikleri, Kasım 2026 blog.salad.com/saladcloud-price-changes-november-2026 — Salad (read 2026-10-29)
- Massed Compute fiyatlandırması vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)