# Jak dostroić Llama na wynajętym GPU?

> Jak dostroić Llama na wynajętym GPU z QLoRA lub LoRA: polecenia TRL, 6 GB dla Llama 3.1 8B w QLoRA i zapisanie adaptera przed usunięciem. Płatność kryptowalutą.

- URL: https://gpuwithcrypto.com/pl/guides/fine-tune-llama-on-rented-gpu/
- Ostatnia aktualizacja: 2026-10-29
- Wydawca: GPUwithCrypto (https://gpuwithcrypto.com)

Adapter LoRA lub QLoRA to najtańszy sposób, by nauczyć Llama Twoich danych. Ten poradnik wybiera GPU, uruchamia trening z Hugging Face TRL i przenosi adapter z maszyny, zanim dysk zostanie wyczyszczony.

**Krótka odpowiedź — Jak dostroić Llama na wynajętym GPU?**

Aby dostroić Llama na wynajętym GPU, wytrenuj adapter LoRA lub QLoRA z Hugging Face TRL. Llama 3.1 8B potrzebuje około 6 GB w QLoRA i 19,2 GB w LoRA, więc wystarczy jeden RTX 4090 z 24 GB; Llama 3.1 70B w QLoRA potrzebuje około 52,5 GB, czyli jeden A100 80GB. Skopiuj adapter przed usunięciem instancji. Na dzień 29 października 2026 **GPUwithCrypto** wynajmuje RTX 4090 za $0.28/godzina, z płatnością kryptowalutą.

## Jakiego GPU potrzebuję do dostrojenia Llama?

Pamięć według zasad z naszego [poradnika o VRAM](https://gpuwithcrypto.com/pl/how-much-vram-do-i-need/ "Ile VRAM potrzebuję, aby uruchomić lub dostroić LLM?"): QLoRA ≈ 0,75 GB na miliard parametrów, LoRA = 2 bajty na parametr × 1,2, pełne dostrajanie 16–18 bajtów na parametr. Nasze ceny z 29 października 2026.

| Model | Metoda | VRAM (zasada) | GPU | GPUwithCrypto na godzinę |
| --- | --- | --- | --- | --- |
| Llama 3.1 8B | QLoRA | 6 GB | 1× RTX 4090 (24 GB) | $0.28/godzina |
| Llama 3.1 8B | LoRA (baza BF16) | 19.2 GB | 1× RTX 4090 (24 GB) | $0.28/godzina |
| Llama 3.1 8B | Pełne dostrajanie | 128–144 GB + aktywacje | 1× B200 (180 GB) | $4.61/godzina |
| Llama 3.1 70B | QLoRA | 52.5 GB | 1× A100 80GB lub 1× H100 | $0.92/godzina lub $2.32/godzinę |
| Llama 3.1 70B | LoRA (baza BF16) | 168 GB | 1× B200 lub 2× H200 | $4.61/godzina lub $6.14/godzinę |

*Ceny sprawdzone 29 października 2026.*

Dysk: wagi Llama 3.1 8B Instruct zajmują 16,1 GB, wagi 70B Instruct 141,1 GB. Zostaw miejsce na checkpointy.

## Jak uruchomić dostrajanie QLoRA modelu Llama 3.1 8B?

Polecenia z dokumentacji Hugging Face TRL i Hub. Podmień identyfikator modelu na `meta-llama/Llama-3.1-70B-Instruct` na GPU z 80 GB, aby w ten sam sposób wytrenować model 70B. Pierwszy raz z wynajętym GPU? [Jak wynająć GPU do AI](https://gpuwithcrypto.com/pl/guides/rent-a-gpu-for-ai/ "Jak wynająć GPU do AI, krok po kroku?") omawia konto, SSH i pierwsze zadanie.

1. **Wynajmij GPU** — Uruchom instancję 1× RTX 4090 dla modelu 8B lub 1× A100 80GB dla 70B. Każda instancja daje Ci całe GPU, nigdy współdzielony slice ani partycję MIG. Otrzymujesz root SSH do Ubuntu z zainstalowanym sterownikiem NVIDIA, CUDA i PyTorch albo startujesz z własnego obrazu Docker.
2. **Uzyskaj dostęp do Llama** — Repozytoria meta-llama na Hugging Face są objęte kontrolą dostępu: poproś o dostęp na stronie modelu i zaakceptuj licencję Meta, a następnie uruchom hf auth login na instancji z tokenem do odczytu.
3. **Zainstaluj TRL, PEFT i bitsandbytes** — pip install "trl[peft]" bitsandbytes. bitsandbytes zapewnia ładowanie 4-bitowe, którego wymaga QLoRA.
4. **Wybierz zbiór danych** — Użyj identyfikatora zbioru danych z Hugging Face lub własnego pliku rozmów. Przykład używa trl-lib/Capybara, zbioru danych z przykładów samego TRL.
5. **Wytrenuj adapter** — Uruchom poniższe polecenie trl sft w tmux. --load_in_4bit ładuje model bazowy w 4 bitach, --use_peft dodaje adapter LoRA, a checkpointy trafiają do --output_dir.
6. **Przetestuj adapter** — Załaduj model bazowy, podłącz adapter przez PEFT i porównaj odpowiedzi z modelem bazowym na własnych promptach.
7. **Skopiuj adapter, potem usuń** — Każda instancja ma lokalny dysk NVMe, dopasowany do jej GPU i pokazany przed startem. Dysk jest czyszczony przy usuwaniu instancji, więc najpierw skopiuj swoje checkpoints. Skopiuj folder wyjściowy na swój komputer lub wypchnij go do prywatnego repozytorium Hugging Face, a następnie usuń instancję.

*train-qlora.sh*

```bash
pip install "trl[peft]" bitsandbytes
hf auth login

trl sft \
  --model_name_or_path meta-llama/Llama-3.1-8B-Instruct \
  --dataset_name trl-lib/Capybara \
  --load_in_4bit \
  --use_peft \
  --lora_r 32 \
  --lora_alpha 16 \
  --lora_target_modules q_proj k_proj v_proj o_proj gate_proj up_proj down_proj \
  --learning_rate 2.0e-4 \
  --num_train_epochs 1 \
  --per_device_train_batch_size 1 \
  --gradient_accumulation_steps 16 \
  --gradient_checkpointing \
  --save_strategy steps \
  --save_steps 200 \
  --output_dir llama-3.1-8b-qlora

```

## Co robią główne flagi treningu?

- `--lora_r 32 --lora_alpha 16`: ranga i skalowanie adaptera, wartości z przykładów PEFT w TRL. Ranga 32 na wszystkich siedmiu warstwach liniowych Llama 3.1 8B trenuje około 84 milionów parametrów, czyli około 1% modelu.
- `--learning_rate 2.0e-4`: dokumentacja TRL zaleca około 10 razy większy współczynnik niż przy pełnym dostrajaniu (2.0e-5) dla LoRA.
- `--per_device_train_batch_size 1 --gradient_accumulation_steps 16`: efektywny batch 16 przy pamięci batcha 1.
- `--gradient_checkpointing`: przelicza aktywacje zamiast je przechowywać, wymieniając czas na pamięć.
- `--save_strategy steps --save_steps 200`: zapisuje checkpoint co 200 kroków, więc awaria kosztuje najwyżej 200 kroków.

*save-adapter.sh*

```bash
# from your computer: copy the adapter folder before you delete the instance
rsync -avP -e "ssh -p SSH_PORT" root@HOST:/root/llama-3.1-8b-qlora/ ./llama-3.1-8b-qlora/

# or, on the instance: create a private repo on huggingface.co first, then upload
hf upload your-name/llama-3.1-8b-qlora ./llama-3.1-8b-qlora .

# later, serve the base model with the adapter in vLLM
vllm serve meta-llama/Llama-3.1-8B-Instruct \
  --enable-lora --max-lora-rank 32 \
  --lora-modules my-adapter=./llama-3.1-8b-qlora

```

## Ile kosztuje dostrojenie Llama na wynajętym GPU?

Koszt = GPU × godziny zegarowe × cena za GPU-godzinę. **Poniższe godziny to założenia ilustracyjne, nie pomiary**: czas działania zależy od liczby tokenów w Twoim zbiorze danych, długości sekwencji i rozmiaru batcha. Wybraliśmy godziny pasujące do naszych bloków 10 i 24 GPU-godzin. GPU-godziny są sprzedawane w blokach po 10, 24, 168 lub 720 godzin dla jednego modelu GPU, w tej samej stawce godzinowej; instancje tego GPU pobierają z nich za minutę, a niewykorzystane godziny nigdy nie wygasają. Każdy GPU i blok są wymienione na stronie [cennika GPU](https://gpuwithcrypto.com/pl/pricing/ "Ile kosztuje godzina GPU w chmurze w GPUwithCrypto?").

Mały GPU to największa oszczędność. Według sprawdzenia cen przez GPUwithCrypto z 29 października 2026 najtańszy samoobsługowy RTX 4090 on-demand kosztował $0.33 za godzinę (Salad), a najtańszy H100 $2.73 (Massed Compute): 8,3 razy więcej, przy zadaniu QLoRA 8B, które i tak mieści się w 24 GB. [Strona cen RTX 4090](https://gpuwithcrypto.com/pl/gpu-prices/rtx-4090/ "Ile kosztuje wynajem RTX 4090 za godzinę?") wymienia sprawdzone przez nas dostawców.

### Szacunek kosztu uruchomienia przy założonych godzinach

| Zadanie | Konfiguracja | Założone godziny (niezmierzone) | GPU-godziny | Koszt GPUwithCrypto |
| --- | --- | --- | --- | --- |
| Llama 3.1 8B, QLoRA | 1× RTX 4090 | 10 | 10 | 2,80 USD |
| Llama 3.1 8B, LoRA | 1× RTX 4090 | 24 | 24 | 6,72 USD |
| Llama 3.1 70B, QLoRA | 1× A100 80GB | 24 | 24 | 22,08 USD |
| Llama 3.1 70B, LoRA | 2× H200 | 12 | 24 | 73,68 USD |

*Ceny sprawdzone 29 października 2026.*

## Jak uniknąć utraty pracy na wynajętym GPU?

Zapisuj często, wcześnie kopiuj wyniki poza instancję i pilnuj salda. Instancje są on-demand, nie spot: nikt nie może odebrać Ci GPU, dopóki starcza na nie saldo, a instancja działa, dopóki jej nie zatrzymasz. Gdy GPU-godziny danego GPU się skończą, jego instancje się zatrzymują, a ich dyski zostają; nowy blok godzin pozwala uruchomić je ponownie. Jeśli uruchomienie się zatrzyma, Trainer z Hugging Face wznawia pracę od ostatniego checkpointu w folderze wyjściowym, gdy wywołasz `trainer.train(resume_from_checkpoint=True)` z Pythona. Unsloth i Axolotl to dwa inne znane narzędzia do LoRA; ten przewodnik używa TRL, ponieważ jego flagi wiersza poleceń są udokumentowane na stronach Hugging Face.

## Pytania o fine-tuning Llama

### Ile VRAM potrzebuję do fine-tuningu Llama 3.1 8B?

Około 6 GB z QLoRA i 19,2 GB z LoRA na bazie BF16, więc 24 GB RTX 4090 obsłuży oba warianty. Pełny fine-tuning wymaga 128 do 144 GB przed aktywacjami, czyli jednego 180 GB B200.

### Czy mogę zrobić fine-tuning Llama 70B na jednym GPU?

Tak, z QLoRA na 80 GB A100 lub H100: szacunek to 52,5 GB. LoRA na bazie BF16 wymaga około 168 GB, jednego B200 lub dwóch H200. Więcej w [najlepszym GPU do fine-tuningu Llama 70B](https://gpuwithcrypto.com/pl/best-gpu-for/fine-tuning-llama-70b/ "Jaka jest najlepsza GPU do fine-tuningu Llama 70B (LoRA, QLoRA, pełny)?").

### Czy powinienem użyć LoRA czy QLoRA?

QLoRA, gdy limitem jest pamięć: ładuje model bazowy w 4-bit i dzieli pamięć w przybliżeniu przez trzy względem LoRA. LoRA, gdy GPU ma zapas: baza pozostaje w BF16. Porównaj oba adaptery na własnym zbiorze ewaluacyjnym.

### Ile trwa fine-tuning Llama?

To zależy od liczby tokenów treningowych, długości sekwencji i rozmiaru batcha, a nie zmierzyliśmy żadnego uruchomienia, więc nie podajemy czasu. Blok 10 godzin wystarczy, aby zmierzyć liczbę kroków na godzinę przed długim uruchomieniem.

### Czy mogę zapłacić za kartę GPU kryptowalutą?

Tak. GPUwithCrypto przyjmuje BTC, USDT, USDC, ETH, SOL, LTC, XMR z doładowania 1 USD, bez dowodu i bez karty. Instancje są rozliczane za minutę według stawki godzinowej, dopóki działają, z GPU-godzin kupionych dla danego GPU. Zatrzymanie instancji natychmiast wstrzymuje naliczanie opłat.

## Źródła

1. [Interfejsy wiersza poleceń TRL](https://huggingface.co/docs/trl/clis) — Hugging Face (read 2026-10-29)
2. [Integracja TRL PEFT (LoRA, QLoRA, zapisywanie adapterów)](https://huggingface.co/docs/trl/peft_integration) — Hugging Face (read 2026-10-29)
3. [Przewodnik po CLI Hugging Face (hf auth login, hf upload)](https://huggingface.co/docs/huggingface_hub/guides/cli) — Hugging Face (read 2026-10-29)
4. [Trainer i TrainingArguments](https://huggingface.co/docs/transformers/main_classes/trainer) — Hugging Face (read 2026-10-29)
5. [Karta modelu Llama 3.1 8B](https://huggingface.co/meta-llama/Llama-3.1-8B) — Meta / Hugging Face (read 2026-10-29)
6. [Karta modelu Llama 3.1 70B](https://huggingface.co/meta-llama/Llama-3.1-70B) — Meta / Hugging Face (read 2026-10-29)
7. [The Llama 3 Herd of Models (Tabela 3)](https://arxiv.org/abs/2407.21783) — arXiv (read 2026-10-29)
8. [QLoRA: Efficient Finetuning of Quantized LLMs](https://arxiv.org/abs/2305.14314) — arXiv (read 2026-10-29)
9. [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685) — arXiv (read 2026-10-29)
10. [Przepisy vLLM (flagi serwowania LoRA)](https://recipes.vllm.ai/) — vLLM project (read 2026-10-29)
11. [Zmiany cen SaladCloud, listopad 2026](https://blog.salad.com/saladcloud-price-changes-november-2026) — Salad (read 2026-10-29)
12. [Cennik Massed Compute](https://vm.massedcompute.com/pricing) — Massed Compute (read 2026-10-29)

---

GPUwithCrypto: GPUwithCrypto wynajmuje GPU w chmurze (NVIDIA H100, H200, B200, A100, L40S, RTX 4090 i RTX 5090) na minuty, płatność kryptowalutą bez KYC; każda GPU kosztuje co najmniej 15% mniej niż nazwana stawka on-demand odczytana 29 października 2026.