Kısa yanıt
Llama 70B'yi fine-tune etmek için en iyi GPU hangisi?
Llama 70B'yi fine-tune etmek için en iyi GPU yönteme göre değişir. QLoRA yaklaşık 52.5 GB gerektirir, yani bir 80 GB A100 veya H100. BF16 tabanlı LoRA yaklaşık 168 GB gerektirir, yani bir 180 GB B200 veya iki H200. Full fine-tuning, aktivasyonlar öncesinde 1,120 ile 1,260 GB gerektirir, yani sekiz B200. 29 Ekim 2026 itibarıyla GPUwithCrypto, bir A100 80GB'ı $0.92/saat karşılığında kiralıyor ve ödeme kripto ile yapılıyor.
Hangi yöntem için hangi GPU?
| QLoRA (4-bit taban) | ≈ 52.5 GB → 1× A100 80GB ($0.92/saat) veya 1× H100 ($2.32/saat) |
|---|---|
| LoRA (BF16 taban) | 140 GB alt sınır, planlama için ≈ 168 GB → 1× B200 ($4.61/saat) veya 2× H200 ($6.14/saat) |
| Full fine-tuning, 8-bit Adam | ≈ 840 GB → 8× H200 ($24.56/saat) |
| Full fine-tuning, AdamW | 1,120–1,260 GB → 8× B200 ($36.88/saat) |
| Çok küçük | Bir 48 GB L40S, 52.5 GB'lık QLoRA tahminini karşılamıyor; QLoRA yazarları 65B'lik bir modeli tek bir 48 GB GPU'ya sığdırmayı başarmıştı |
70B model için her yöntem ne kadar bellek gerektirir?
- QLoRA: temel model 4-bit olarak yüklenir ve dondurulur; yalnızca küçük adapter'lar eğitilir. QLoRA makalesi 65B'lik bir modeli tek bir 48 GB GPU'da fine-tune etti: 48 ÷ 65 = milyar parametre başına 0.74 GB, 0.75'e yuvarlanır. 70B için: 70 × 0.75 = 52.5 GB.
- LoRA: temel BF16 olarak kalır ve dondurulur: 70 × 2 byte = 140 GB. Adapter'lar ve optimizer'ları yaklaşık %1 ekler; %20'lik planlama payımızla 140 × 1.2 = 168 GB.
- Full fine-tuning, AdamW ile karışık hassasiyet: EleutherAI parametre başına 2 + 12 + 2 = 16 byte sayar (ağırlıklar, FP32 kopyalı optimizer, gradyanlar): 70 × 16 = 1,120 GB. Hugging Face 6 + 8 + 4 = 18 byte sayar: 1,260 GB. Aktivasyonlar bunun üzerine eklenir.
- 8-bit Adam ile full fine-tuning: Hugging Face 8-bit optimizer durumlarını 8 byte yerine 2 byte olarak hesaplar, yani 6 + 2 + 4 = 12 byte: 70 × 12 = 840 GB.
Bunlar ölçüm değil, kaynak gösterilen kaynaklardan alınan planlama kurallarıdır. Dizi uzunluğu ve batch boyutu aktivasyon belleğini değiştirir; gradient checkpointing bunu azaltır. Diğer model boyutları için aynı kurallar: ne kadar VRAM'e ihtiyacım var?
Her yöntem kaç GPU gerektirir?
✓ = yapılandırmanın toplam VRAM'i yöntemin tahminini karşılar. Çoklu GPU satırları modelin GPU'lar arasında parçalandığını (FSDP veya DeepSpeed ZeRO-3) varsayar. Tüm yapılandırma için saatlik fiyatlarımız, 29 Ekim 2026.
| Yapılandırma | Toplam VRAM | QLoRA (52.5 GB) | LoRA (168 GB) | Full, 8-bit Adam (840 GB) | Full, AdamW (1,260 GB) | Saat başına GPUwithCrypto |
|---|---|---|---|---|---|---|
| 1× L40S | 48 GB | ✗ | ✗ | ✗ | ✗ | $0.82/saat |
| 1× A100 80GB | 80 GB | ✓ | ✗ | ✗ | ✗ | $0.92/saat |
| 1× H100 | 80 GB | ✓ | ✗ | ✗ | ✗ | $2.32/saat |
| 1× H200 | 141 GB | ✓ | ✗ | ✗ | ✗ | $3.07/saat |
| 1× B200 | 180 GB | ✓ | ✓ | ✗ | ✗ | $4.61/saat |
| 2× H200 | 282 GB | ✓ | ✓ | ✗ | ✗ | $6.14/saat |
| 4× A100 80GB | 320 GB | ✓ | ✓ | ✗ | ✗ | $3.68/saat |
| 8× H100 | 640 GB | ✓ | ✓ | ✗ | ✗ | $18.56/saat |
| 8× H200 | 1,128 GB | ✓ | ✓ | ✓ | ✗ | $24.56/saat |
| 8× B200 | 1,440 GB | ✓ | ✓ | ✓ | ✓ | $36.88/saat |
Fiyatlar tarihinde kontrol edildi
8× H200, 16 baytlık tahmini (1.120 GB) kağıt üzerinde tutuyor ancak aktivasyonlar için 8 GB bırakıyor, bu yüzden AdamW için ✗ olarak işaretlendi. 8× B200, 18 baytlık tahminden sonra 180 GB bırakıyor. Instance'larda host'a bağlı olarak 1 ila 8 GPU bulunur. Başlamadan önce dashboard her host'un ülkesini, GPU sayısını, form faktörünü (SXM veya PCIe) ve ara bağlantısını gösterir.
Llama 70B fine-tuning çalıştırması ne kadar tutar?
Maliyet = GPU sayısı × gerçek saat × GPU-saat başına fiyat. Aşağıdaki saatler örnek amaçlı seçilmiş varsayımlardır, ölçüm değildir: çalışma süresi eğitim token sayısına, dizi uzunluğuna, batch boyutuna ve yazılıma bağlıdır. Uzun bir çalıştırmayı boyutlandırmadan önce kısa bir denemede kendi adımlarınızı saat başına ölçün. Varsayılan saatler, 10, 24 ve 168 GPU-saatlik bloklarımızla eşleşiyor. GPU-saatler tek bir GPU modeli için 10, 24, 168 veya 720 saatlik bloklar halinde, aynı saatlik ücretle satılır; o GPU'nun instance'ları bunlardan dakika başına çeker ve kullanılmayan saatler hiçbir zaman sona ermez. Her blok ve GPU GPU fiyatlandırma sayfasında listelenmiştir.
Varsayılan saatlere göre çalıştırma maliyeti tahmini
| Yöntem | Yapılandırma | Varsayılan saatler (ölçülmedi) | GPU-saat | GPUwithCrypto maliyet |
|---|---|---|---|---|
| QLoRA | 1× A100 80GB | 10 | 10 | $9,20 |
| QLoRA | 1× H100 | 10 | 10 | $23,20 |
| LoRA | 1× B200 | 24 | 24 | $110,64 |
| LoRA | 2× H200 | 12 | 24 | $73,68 |
| Tam, 8-bit Adam | 8× H200 | 21 | 168 | $515,76 |
| Tam, AdamW | 8× B200 | 21 | 168 | $774,48 |
Fiyatlar tarihinde kontrol edildi
Tam fine-tuning, QLoRA'dan ne kadar daha pahalı?
Donanım saati başına yaklaşık 40 kat daha fazla. GPUwithCrypto'nin 29 Ekim 2026 tarihli fiyat kontrolüne göre, 8× B200 örneği için en düşük self-servis on-demand fiyat saat başına 43,46 $ idi (Massed Compute, GPU başına 5,4325 $). Bir A100 80GB, Thunder Compute'ta saat başına 1,09 $ tutuyordu. Oran bizim fiyatlarımızda da aynı: $36.88/saat, $0.92/saat karşısında.
Bu fark, çoğu 70B projesinin QLoRA veya LoRA ile başlamasının nedenidir. LoRA makalesi, test ettiği görevlerde tam fine-tuning ile başabaş sonuçlar bildiriyor ve 10.000 kat daha az eğitilebilir parametreyle.
70B üzerinde QLoRA için H100 mü yoksa A100 mü daha iyi?
Her ikisi de 52,5 GB tahminini 80 GB'a sığdırıyor. H100, A100'ün tepe BF16 Tensor iş çıkarma hızının 3,2 katına (dense 312 TFLOPS'a karşı 989,5) ve 3.350 GB/s bant genişliğine (SXM) sahip (2.039 GB/s'ye karşı). Bunlar NVIDIA'nın tepe değerleri; gerçek eğitim hızı yazılıma bağlıdır. Bizim fiyatlarımızda A100 $0.92/saat ve H100 $2.32/saat. Bütçe sabitse A100'ü, teslim tarihi sıkıysa H100'ü seçin. Daha fazlası: H100 vs A100.
Her yöntemi hangi yazılım çalıştırır?
Hugging Face TRL, QLoRA ve LoRA'yı tek komutla çalıştırır: QLoRA için --load_in_4bit --use_peft, yalnızca LoRA için --use_peft. Çoklu GPU'lu LoRA ve tam fine-tuning için TRL, fsdp2 ve zero3 (DeepSpeed ZeRO-3) gibi hazır Accelerate profilleri sunar ve bunlar --accelerate_config ile geçirilir. Hugging Face üzerindeki Llama 3.1 depoları kısıtlıdır: önce model sayfasında Meta'nın lisansını kabul edin. Adım adım komutlar: kiralık bir GPU'da Llama fine-tune etme.
Llama 70B fine-tuning soruları
Llama 70B'yi tek GPU'da fine-tune edebilir miyim?
Evet, 80 GB'lık bir GPU'da QLoRA ile: tahmin 52,5 GB. BF16 taban üzerinde LoRA da tek GPU'ya sığar, ancak yalnızca 180 GB'lık bir B200'e. Tam fine-tuning, 8-bit optimize ediciyle sekiz B200 veya sekiz H200 gerektirir.
Llama 70B'yi RTX 4090'da fine-tune edebilir miyim?
Hayır. 4-bit olsa bile 70B ağırlıkları tek başına 35 GB tutar; bu, RTX 4090'ın 24 GB'ından fazladır. Kiraladığımız, bir QLoRA çalıştırmasını tutan en küçük GPU 80 GB'lık bir A100'dür.
Llama 70B'yi LoRA ile fine-tune etmek için ne kadar VRAM gerekir?
Dondurulmuş BF16 ağırlıkları için yaklaşık 140 GB, adaptörler ve aktivasyonlar için %20 payla birlikte yaklaşık 168 GB. Bir B200 (180 GB), iki H200 (282 GB) veya dört adet 80 GB'lık GPU bunu tutar.
Llama 70B fine-tuning ne kadar sürer?
Veri kümenizin token sayısına, dizi uzunluğuna ve batch boyutuna bağlıdır; bir çalıştırmayı ölçmedik, bu yüzden süre yayımlamıyoruz. 10 saatlik bir blokla başlayın, kendi verinizde saat başına adımları ölçün, sonra tam çalıştırmayı boyutlandırın.
GPU'ların ücretini kripto ile ödeyebilir miyim?
Evet. GPUwithCrypto, bir $25 bakiyesi yüklemesinden BTC, USDT, USDC, ETH, SOL, LTC alır; kimlik yok, kart yok. Kullanılmayan GPU-saatler hiç süresi dolmaz.
Kaynaklar (12)
- QLoRA: Efficient Finetuning of Quantized LLMs — arXiv (read 2026-10-29)
- Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA — Hugging Face (read 2026-10-29)
- LoRA: Low-Rank Adaptation of Large Language Models — arXiv (read 2026-10-29)
- Transformer Math 101 — EleutherAI (read 2026-10-29)
- Model training anatomy (GPU memory) — Hugging Face (read 2026-10-29)
- Llama 3.1 70B model kartı — Meta / Hugging Face (read 2026-10-29)
- TRL komut satırı arayüzleri — Hugging Face (read 2026-10-29)
- TRL PEFT entegrasyonu — Hugging Face (read 2026-10-29)
- NVIDIA A100 özellikleri — NVIDIA (read 2026-10-29)
- NVIDIA H100 özellikleri — NVIDIA (read 2026-10-29)
- Massed Compute fiyatlandırması vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)
- Thunder Compute fiyatlandırması thundercompute.com/pricing — Thunder Compute (read 2026-10-29)