Krótka odpowiedź
Jaka jest najlepsza GPU do fine-tuningu Llama 70B?
Najlepsza GPU do fine-tuningu Llama 70B zależy od metody. QLoRA potrzebuje około 52,5 GB, więc jednego 80 GB A100 lub H100. LoRA na bazie BF16 potrzebuje około 168 GB, więc jednego 180 GB B200 lub dwóch H200. Pełny fine-tuning potrzebuje 1 120 do 1 260 GB przed aktywacjami, więc ośmiu B200. Na dzień 29 października 2026 GPUwithCrypto wynajmuje A100 80GB za $0.92/godzina, z płatnością kryptowalutą.
Która GPU do której metody?
| QLoRA (baza 4-bit) | ≈ 52,5 GB → 1× A100 80GB ($0.92/godzina) lub 1× H100 ($2.32/godzinę) |
|---|---|
| LoRA (baza BF16) | Dolna granica 140 GB, ≈ 168 GB do planowania → 1× B200 ($4.61/godzina) lub 2× H200 ($6.14/godzinę) |
| Pełny fine-tune, 8-bit Adam | ≈ 840 GB → 8× H200 ($24.56/godzinę) |
| Pełny fine-tune, AdamW | 1 120–1 260 GB → 8× B200 ($36.88/godzinę) |
| Za mało | Jeden 48 GB L40S nie mieści szacowanych 52,5 GB dla QLoRA; autorzy QLoRA zmieścili model 65B na jednej GPU 48 GB |
Ile pamięci potrzebuje każda metoda dla modelu 70B?
- QLoRA: model bazowy jest ładowany w 4-bit i zamrożony; trenują się tylko małe adaptery. W pracy o QLoRA dostrojono model 65B na jednej GPU 48 GB: 48 ÷ 65 = 0,74 GB na miliard parametrów, zaokrąglone do 0,75. Dla 70B: 70 × 0,75 = 52,5 GB.
- LoRA: baza pozostaje w BF16 i jest zamrożona: 70 × 2 bajty = 140 GB. Adaptery i ich optymalizator dodają około 1%; z naszym 20% marginesem planowania 140 × 1,2 = 168 GB.
- Pełny fine-tuning, mieszana precyzja z AdamW: EleutherAI liczy 2 + 12 + 2 = 16 bajtów na parametr (wagi, optymalizator z kopią FP32, gradienty): 70 × 16 = 1 120 GB. Hugging Face liczy 6 + 8 + 4 = 18 bajtów: 1 260 GB. Aktywacje dochodzą dodatkowo.
- Pełny fine-tuning z 8-bit Adam: Hugging Face podaje stany optymalizatora 8-bit na 2 bajty zamiast 8, więc 6 + 2 + 4 = 12 bajtów: 70 × 12 = 840 GB.
To reguły planowania z cytowanych źródeł, a nie pomiary. Długość sekwencji i rozmiar batcha zmieniają pamięć aktywacji; gradient checkpointing ją zmniejsza. Te same reguły dla innych rozmiarów modeli: ile VRAM potrzebuję?
Ile GPU potrzebuje każda metoda?
✓ = łączny VRAM danej konfiguracji mieści szacunek dla metody. Wiersze z wieloma GPU zakładają sharding modelu na GPU (FSDP lub DeepSpeed ZeRO-3). Nasze ceny za godzinę dla całej konfiguracji, 29 października 2026.
| Konfiguracja | Łączny VRAM | QLoRA (52,5 GB) | LoRA (168 GB) | Pełny, 8-bit Adam (840 GB) | Pełny, AdamW (1 260 GB) | GPUwithCrypto na godzinę |
|---|---|---|---|---|---|---|
| 1× L40S | 48 GB | ✗ | ✗ | ✗ | ✗ | $0.82/godzina |
| 1× A100 80GB | 80 GB | ✓ | ✗ | ✗ | ✗ | $0.92/godzina |
| 1× H100 | 80 GB | ✓ | ✗ | ✗ | ✗ | $2.32/godzinę |
| 1× H200 | 141 GB | ✓ | ✗ | ✗ | ✗ | $3.07/godzina |
| 1× B200 | 180 GB | ✓ | ✓ | ✗ | ✗ | $4.61/godzina |
| 2× H200 | 282 GB | ✓ | ✓ | ✗ | ✗ | $6.14/godzinę |
| 4× A100 80GB | 320 GB | ✓ | ✓ | ✗ | ✗ | $3.68/godzinę |
| 8× H100 | 640 GB | ✓ | ✓ | ✗ | ✗ | $18.56/godzinę |
| 8× H200 | 1,128 GB | ✓ | ✓ | ✓ | ✗ | $24.56/godzinę |
| 8× B200 | 1,440 GB | ✓ | ✓ | ✓ | ✓ | $36.88/godzinę |
Ceny sprawdzone
8× H200 mieści na papierze szacunek 16 bajtów (1 120 GB), ale zostawia 8 GB na aktywacje, więc jest oznaczone ✗ dla AdamW. 8× B200 zostawia 180 GB po szacunku 18 bajtów. Instancje mają od 1 do 8 GPU w zależności od hosta. Przed startem dashboard pokazuje kraj każdego hosta, liczbę GPU, form factor (SXM lub PCIe) i interconnect.
Ile kosztuje uruchomienie fine-tuningu Llama 70B?
Koszt = GPU × godziny zegarowe × cena za GPU-godzinę. Godziny poniżej to założenia przyjęte dla ilustracji, a nie pomiary: czas uruchomienia zależy od liczby tokenów treningowych, długości sekwencji, rozmiaru batcha i oprogramowania. Zmierz własne kroki na godzinę na krótkim uruchomieniu, zanim zaplanujesz długie. Przyjęte godziny odpowiadają naszym blokom 10, 24 i 168 GPU-godzin. GPU-godziny są sprzedawane w blokach po 10, 24, 168 lub 720 godzin dla jednego modelu GPU, w tej samej stawce godzinowej; instancje tego GPU pobierają z nich za minutę, a niewykorzystane godziny nigdy nie wygasają. Każdy blok i każdy GPU są wymienione na stronie cennika GPU.
Szacunek kosztu uruchomienia przy założonych godzinach
| Metoda | Konfiguracja | Założone godziny (niezmierzone) | GPU-godziny | Koszt GPUwithCrypto |
|---|---|---|---|---|
| QLoRA | 1× A100 80GB | 10 | 10 | 9,20 USD |
| QLoRA | 1× H100 | 10 | 10 | 23,20 USD |
| LoRA | 1× B200 | 24 | 24 | 110,64 USD |
| LoRA | 2× H200 | 12 | 24 | 73,68 USD |
| Pełny, 8-bit Adam | 8× H200 | 21 | 168 | 515,76 USD |
| Pełny, AdamW | 8× B200 | 21 | 168 | 774,48 USD |
Ceny sprawdzone
O ile droższy jest pełny fine-tuning niż QLoRA?
Około 40 razy więcej na godzinę sprzętu. Według sprawdzenia cen przez GPUwithCrypto z 29 października 2026 najniższa samoobsługowa cena on-demand za instancję 8× B200 wynosiła 43,46 USD za godzinę (Massed Compute, 5,4325 USD za GPU). Jeden A100 80GB kosztował 1,09 USD za godzinę w Thunder Compute. Proporcja jest taka sama przy naszych cenach: $36.88/godzinę wobec $0.92/godzina.
Ta różnica jest powodem, dla którego większość projektów 70B zaczyna od QLoRA lub LoRA. Artykuł o LoRA podaje wyniki na poziomie pełnego fine-tuningu na testowanych zadaniach, przy 10 000 razy mniejszej liczbie parametrów trenowalnych.
Czy H100 czy A100 jest lepszy do QLoRA na 70B?
Oba mieszczą szacunek 52,5 GB w 80 GB. H100 ma 3,2 razy większą szczytową przepustowość BF16 Tensor niż A100 (989,5 wobec 312 TFLOPS dense) i 3 350 GB/s przepustowości (SXM) wobec 2 039 GB/s. To szczytowe wartości NVIDIA; rzeczywista szybkość treningu zależy od oprogramowania. A100 kosztuje $0.92/godzina, a H100 $2.32/godzinę przy naszych cenach. Wybierz A100, gdy budżet jest stały, a H100, gdy liczy się termin. Więcej: H100 vs A100.
Jakie oprogramowanie obsługuje każdą metodę?
Hugging Face TRL uruchamia QLoRA i LoRA jedną komendą: --load_in_4bit --use_peft dla QLoRA, samo --use_peft dla LoRA. Do wielo-GPU LoRA i pełnego fine-tuningu TRL dostarcza gotowe profile Accelerate, takie jak fsdp2 i zero3 (DeepSpeed ZeRO-3), przekazywane przez --accelerate_config. Repozytoria Llama 3.1 na Hugging Face są objęte ograniczeniem dostępu: najpierw zaakceptuj licencję Meta na stronie modelu. Komendy krok po kroku: fine-tuning Llama na wynajętym GPU.
Pytania o fine-tuning Llama 70B
Czy mogę zrobić fine-tuning Llama 70B na jednym GPU?
Tak, z QLoRA na GPU 80 GB: szacunek to 52,5 GB. LoRA na bazie BF16 też mieści się na jednym GPU, ale tylko B200 180 GB. Pełny fine-tuning wymaga ośmiu B200 lub ośmiu H200 z optymalizatorem 8-bit.
Czy mogę zrobić fine-tuning Llama 70B na RTX 4090?
Nie. Nawet w 4-bit same wagi 70B zajmują 35 GB, więcej niż 24 GB w RTX 4090. Najmniejszy GPU, jaki wynajmujemy, który mieści uruchomienie QLoRA, to A100 80 GB.
Ile VRAM potrzebuję do fine-tuningu Llama 70B z LoRA?
Około 140 GB na zamrożone wagi BF16 i około 168 GB z 20% zapasem na adaptery i aktywacje. Mieści to jeden B200 (180 GB), dwa H200 (282 GB) lub cztery GPU 80 GB.
Ile trwa fine-tuning Llama 70B?
To zależy od liczby tokenów w Twoim zbiorze danych, długości sekwencji i rozmiaru batcha, a nie zmierzyliśmy uruchomienia, więc nie publikujemy czasu. Zacznij od bloku 10 godzin, zmierz kroki na godzinę na swoich danych, a potem zaplanuj pełne uruchomienie.
Czy mogę zapłacić za GPU kryptowalutą?
Tak. GPUwithCrypto pobiera BTC, USDT, USDC, ETH, SOL, LTC z doładowania 25 USD, bez dowodu i bez karty. Niewykorzystane GPU-godziny nie wygasają.
Źródła (12)
- QLoRA: Efficient Finetuning of Quantized LLMs — arXiv (read 2026-10-29)
- Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA — Hugging Face (read 2026-10-29)
- LoRA: Low-Rank Adaptation of Large Language Models — arXiv (read 2026-10-29)
- Transformer Math 101 — EleutherAI (read 2026-10-29)
- Model training anatomy (GPU memory) — Hugging Face (read 2026-10-29)
- Karta modelu Llama 3.1 70B — Meta / Hugging Face (read 2026-10-29)
- Interfejsy wiersza poleceń TRL — Hugging Face (read 2026-10-29)
- Integracja TRL z PEFT — Hugging Face (read 2026-10-29)
- Specyfikacja NVIDIA A100 — NVIDIA (read 2026-10-29)
- Specyfikacja NVIDIA H100 — NVIDIA (read 2026-10-29)
- Cennik Massed Compute vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)
- Cennik Thunder Compute thundercompute.com/pricing — Thunder Compute (read 2026-10-29)