# Як доналаштувати Llama на орендованому GPU?

> Як доналаштувати Llama на орендованому GPU через QLoRA або LoRA: команди TRL і 6 GB для Llama 3.1 8B у QLoRA. | Оплата в криптовалюті.

- URL: https://gpuwithcrypto.com/uk/guides/fine-tune-llama-on-rented-gpu/
- Останнє оновлення: 2026-10-29
- Видавець: GPUwithCrypto (https://gpuwithcrypto.com)

Адаптер LoRA або QLoRA — найдешевший спосіб навчити Llama вашим даним. Цей посібник допомагає вибрати GPU, запустити тренування з Hugging Face TRL і вивантажити адаптер із машини до того, як диск буде стерто.

**Коротка відповідь — Як доналаштувати Llama на орендованому GPU?**

Щоб дообучити Llama на орендованому GPU, тренируйте адаптер LoRA або QLoRA з Hugging Face TRL. Llama 3.1 8B потребує близько 6 ГБ у QLoRA та 19,2 ГБ у LoRA, тож однієї RTX 4090 на 24 ГБ достатньо; Llama 3.1 70B у QLoRA потребує близько 52,5 ГБ, тобто одного A100 80GB. Скопіюйте адаптер перед видаленням інстансу. Станом на 29 жовтня 2026 року **GPUwithCrypto** здає в оренду RTX 4090 за $0.28/година з оплатою в криптовалюті.

## Який GPU потрібен для дообучення Llama?

Пам'ять за правилами з нашого [посібника з VRAM](https://gpuwithcrypto.com/uk/how-much-vram-do-i-need/ "Скільки VRAM потрібно, щоб запустити або донавчити LLM?"): QLoRA ≈ 0,75 ГБ на мільярд параметрів, LoRA = 2 байти на параметр × 1,2, повне дообучення 16–18 байтів на параметр. Наші ціни станом на 29 жовтня 2026 року.

| Модель | Метод | VRAM (правило) | GPU | GPUwithCrypto за годину |
| --- | --- | --- | --- | --- |
| Llama 3.1 8B | QLoRA | 6 GB | 1× RTX 4090 (24 ГБ) | $0.28/година |
| Llama 3.1 8B | LoRA (база BF16) | 19.2 GB | 1× RTX 4090 (24 ГБ) | $0.28/година |
| Llama 3.1 8B | Повне дообучення | 128–144 GB + активації | 1× B200 (180 ГБ) | $4.61/година |
| Llama 3.1 70B | QLoRA | 52.5 GB | 1× A100 80GB або 1× H100 | $0.92/година або $2.32/годину |
| Llama 3.1 70B | LoRA (база BF16) | 168 GB | 1× B200 або 2× H200 | $4.61/година або $6.14/годину |

*Ціни перевірено 29 жовтня 2026 р..*

Диск: ваги Llama 3.1 8B Instruct займають 16,1 ГБ, ваги 70B Instruct — 141,1 ГБ. Залиште місце для чекпойнтів.

## Як запустити QLoRA-дообучення Llama 3.1 8B?

Команди з документації Hugging Face TRL і Hub. Замініть id моделі на `meta-llama/Llama-3.1-70B-Instruct` на GPU з 80 ГБ, щоб так само тренирувати модель 70B. Уперше берете GPU в оренду? [Як орендувати GPU для AI](https://gpuwithcrypto.com/uk/guides/rent-a-gpu-for-ai/ "Як орендувати GPU для AI крок за кроком?") описує акаунт, SSH і перше завдання.

1. **Орендуйте GPU** — Запустіть інстанс 1× RTX 4090 для моделі 8B або 1× A100 80GB для 70B. Кожен інстанс дає вам цілі GPU, а не розділений у часі слот чи MIG-розділ. Ви отримуєте root SSH-доступ до Ubuntu з встановленими NVIDIA driver, CUDA і PyTorch, або стартуєте з власного Docker image.
2. **Отримайте доступ до Llama** — Репозиторії meta-llama на Hugging Face закриті: подайте запит на доступ на сторінці моделі та прийміть ліцензію Meta, потім виконайте hf auth login на інстансі з токеном читання.
3. **Встановіть TRL, PEFT і bitsandbytes** — pip install "trl[peft]" bitsandbytes. bitsandbytes забезпечує 4-бітне завантаження, потрібне для QLoRA.
4. **Виберіть датасет** — Використайте id датасету Hugging Face або власний файл розмов. У прикладі використовується trl-lib/Capybara — датасет із власних прикладів TRL.
5. **Тренуйте адаптер** — Виконайте наведену нижче команду trl sft усередині tmux. --load_in_4bit завантажує базову модель у 4 бітах, --use_peft додає адаптер LoRA, а чекпойнти потрапляють у --output_dir.
6. **Перевірте адаптер** — Завантажте базову модель, підключіть адаптер через PEFT і порівняйте відповіді з базовою моделлю на ваших власних запитах.
7. **Скопіюйте адаптер, потім видаліть** — Кожен інстанс має локальний NVMe-диск, розмір якого відповідає його GPU і показується перед стартом. Диск стирається, коли ви видаляєте інстанс, тож спершу скопіюйте свої checkpoints. Скопіюйте теку результатів на свій комп'ютер або завантажте її в приватний репозиторій Hugging Face, потім видаліть інстанс.

*train-qlora.sh*

```bash
pip install "trl[peft]" bitsandbytes
hf auth login

trl sft \
  --model_name_or_path meta-llama/Llama-3.1-8B-Instruct \
  --dataset_name trl-lib/Capybara \
  --load_in_4bit \
  --use_peft \
  --lora_r 32 \
  --lora_alpha 16 \
  --lora_target_modules q_proj k_proj v_proj o_proj gate_proj up_proj down_proj \
  --learning_rate 2.0e-4 \
  --num_train_epochs 1 \
  --per_device_train_batch_size 1 \
  --gradient_accumulation_steps 16 \
  --gradient_checkpointing \
  --save_strategy steps \
  --save_steps 200 \
  --output_dir llama-3.1-8b-qlora

```

## Що роблять основні прапорці тренування?

- `--lora_r 32 --lora_alpha 16`: ранг і масштабування адаптера, значення з прикладів PEFT у TRL. Ранг 32 на всіх семи лінійних шарах Llama 3.1 8B тренирує близько 84 мільйонів параметрів, приблизно 1% моделі.
- `--learning_rate 2.0e-4`: документація TRL рекомендує для LoRA приблизно в 10 разів більший rate, ніж для повного дообучення (2.0e-5).
- `--per_device_train_batch_size 1 --gradient_accumulation_steps 16`: ефективний батч 16 із пам'яттю батча 1.
- `--gradient_checkpointing`: перераховує активації замість зберігання, обмінюючи час на пам'ять.
- `--save_strategy steps --save_steps 200`: записує чекпойнт кожні 200 кроків, тож збій коштує щонайбільше 200 кроків.

*save-adapter.sh*

```bash
# from your computer: copy the adapter folder before you delete the instance
rsync -avP -e "ssh -p SSH_PORT" root@HOST:/root/llama-3.1-8b-qlora/ ./llama-3.1-8b-qlora/

# or, on the instance: create a private repo on huggingface.co first, then upload
hf upload your-name/llama-3.1-8b-qlora ./llama-3.1-8b-qlora .

# later, serve the base model with the adapter in vLLM
vllm serve meta-llama/Llama-3.1-8B-Instruct \
  --enable-lora --max-lora-rank 32 \
  --lora-modules my-adapter=./llama-3.1-8b-qlora

```

## Скільки коштує дообучення Llama на орендованому GPU?

Вартість = GPU × години реального часу × ціна за GPU-годину. **Години нижче — це припущення для ілюстрації, а не вимірювання**: час виконання залежить від токенів вашого датасету, довжини послідовності та розміру батча. Ми вибрали години, що відповідають нашим блокам по 10 і 24 GPU-години. GPU-години продаються блоками по 10, 24, 168 або 720 годин для однієї моделі GPU за тією самою годинною ставкою; інстанси цього GPU споживають їх щохвилини, а невикористані години ніколи не згорають. Кожен GPU і блок перелічено на [сторінці цін на GPU](https://gpuwithcrypto.com/uk/pricing/ "Скільки коштує хмарний GPU за годину в GPUwithCrypto?").

Малий GPU — найбільша економія. За перевіркою цін GPUwithCrypto станом на 29 жовтня 2026 року, найнижча ціна самообслуговуваної on-demand RTX 4090 становила $0.33 за годину (Salad), а найнижча H100 — $2.73 (Massed Compute): у 8,3 раза більше, для завдання 8B QLoRA, яке в будь-якому разі вміщається в 24 ГБ. На [сторінці цін RTX 4090](https://gpuwithcrypto.com/uk/gpu-prices/rtx-4090/ "Скільки коштує оренда RTX 4090 за годину?") перелічено провайдерів, яких ми перевірили.

### Оцінка вартості запуску за припущених годин

| Завдання | Конфігурація | Припущені години (не виміряно) | GPU-години | Вартість GPUwithCrypto |
| --- | --- | --- | --- | --- |
| Llama 3.1 8B, QLoRA | 1× RTX 4090 | 10 | 10 | 2,80 USD |
| Llama 3.1 8B, LoRA | 1× RTX 4090 | 24 | 24 | 6,72 USD |
| Llama 3.1 70B, QLoRA | 1× A100 80GB | 24 | 24 | 22,08 USD |
| Llama 3.1 70B, LoRA | 2× H200 | 12 | 24 | 73,68 USD |

*Ціни перевірено 29 жовтня 2026 р..*

## Як не втратити роботу на орендованому GPU?

Зберігайте часто, копіюйте назовні якомога раніше й стежте за балансом. Інстанси є on-demand, а не spot: ніхто не може забрати ваш GPU, поки ваш баланс його покриває, і інстанс працює, доки ви його не зупините. Коли GPU-години для GPU вичерпуються, його інстанси зупиняються, а їхні диски зберігаються; новий блок годин дозволяє запустити їх знову. Якщо запуск зупиниться, Trainer з Hugging Face відновить роботу з останнього checkpoint у вихідній теці, коли ви викличете `trainer.train(resume_from_checkpoint=True)` з Python. Unsloth і Axolotl — ще два відомі інструменти для LoRA; цей посібник використовує TRL, бо його прапорці командного рядка задокументовані на власних сторінках Hugging Face.

## Питання про fine-tuning Llama

### Скільки VRAM потрібно для fine-tuning Llama 3.1 8B?

Близько 6 GB з QLoRA і 19,2 GB з LoRA на базі BF16, тож RTX 4090 на 24 GB впорається з обома. Повний fine-tuning потребує від 128 до 144 GB до активацій, тобто один B200 на 180 GB.

### Чи можна зробити fine-tuning Llama 70B на одному GPU?

Так, з QLoRA на A100 або H100 на 80 GB: оцінка — 52,5 GB. LoRA на базі BF16 потребує близько 168 GB, тобто один B200 або два H200. Більше в [найкращий GPU для fine-tuning Llama 70B](https://gpuwithcrypto.com/uk/best-gpu-for/fine-tuning-llama-70b/ "Який GPU найкращий для дообучення Llama 70B (LoRA, QLoRA, повне)?").

### Використовувати LoRA чи QLoRA?

QLoRA, коли пам'ять — обмеження: він завантажує базову модель у 4-bit і приблизно втричі зменшує пам'ять порівняно з LoRA. LoRA, коли в GPU є запас: база лишається в BF16. Порівняйте обидва адаптери на власному наборі для оцінювання.

### Скільки часу триває fine-tuning Llama?

Це залежить від кількості тренувальних токенів, довжини послідовності та розміру батчу, і ми не вимірювали запуск, тому не даємо жодних строків. Блоку на 10 годин достатньо, щоб виміряти ваші кроки за годину перед довгим запуском.

### Чи можу я оплатити GPU криптовалютою?

Так. GPUwithCrypto приймає BTC, USDT, USDC, ETH, SOL, LTC, XMR з поповнення 1 USD, без ID і без картки. Інстанси тарифікуються щохвилини за годинною ставкою, поки працюють, з GPU-годин, які ви купили для цього GPU. Зупинка інстансу одразу зупиняє списання.

## Джерела

1. [Інтерфейси командного рядка TRL](https://huggingface.co/docs/trl/clis) — Hugging Face (read 2026-10-29)
2. [Інтеграція TRL PEFT (LoRA, QLoRA, збереження адаптерів)](https://huggingface.co/docs/trl/peft_integration) — Hugging Face (read 2026-10-29)
3. [Посібник Hugging Face CLI (hf auth login, hf upload)](https://huggingface.co/docs/huggingface_hub/guides/cli) — Hugging Face (read 2026-10-29)
4. [Trainer і TrainingArguments](https://huggingface.co/docs/transformers/main_classes/trainer) — Hugging Face (read 2026-10-29)
5. [Картка моделі Llama 3.1 8B](https://huggingface.co/meta-llama/Llama-3.1-8B) — Meta / Hugging Face (read 2026-10-29)
6. [Картка моделі Llama 3.1 70B](https://huggingface.co/meta-llama/Llama-3.1-70B) — Meta / Hugging Face (read 2026-10-29)
7. [The Llama 3 Herd of Models (Таблиця 3)](https://arxiv.org/abs/2407.21783) — arXiv (read 2026-10-29)
8. [QLoRA: Efficient Finetuning of Quantized LLMs](https://arxiv.org/abs/2305.14314) — arXiv (read 2026-10-29)
9. [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685) — arXiv (read 2026-10-29)
10. [Рецепти vLLM (прапорці обслуговування LoRA)](https://recipes.vllm.ai/) — vLLM project (read 2026-10-29)
11. [Зміни цін SaladCloud, листопад 2026](https://blog.salad.com/saladcloud-price-changes-november-2026) — Salad (read 2026-10-29)
12. [Ціни Massed Compute](https://vm.massedcompute.com/pricing) — Massed Compute (read 2026-10-29)

---

GPUwithCrypto: GPUwithCrypto надає в оренду хмарні GPU (NVIDIA H100, H200, B200, A100, L40S, RTX 4090 та RTX 5090) за хвилину, оплата в криптовалюті без KYC; ціна кожного GPU щонайменше на 15% нижча за названий on-demand орієнтир, зчитаний 29 жовтня 2026 року.