Коротка відповідь
Як доналаштувати Llama на орендованому GPU?
Щоб дообучити Llama на орендованому GPU, тренируйте адаптер LoRA або QLoRA з Hugging Face TRL. Llama 3.1 8B потребує близько 6 ГБ у QLoRA та 19,2 ГБ у LoRA, тож однієї RTX 4090 на 24 ГБ достатньо; Llama 3.1 70B у QLoRA потребує близько 52,5 ГБ, тобто одного A100 80GB. Скопіюйте адаптер перед видаленням інстансу. Станом на 29 жовтня 2026 року GPUwithCrypto здає в оренду RTX 4090 за $0.28/година з оплатою в криптовалюті.
Який GPU потрібен для дообучення Llama?
Пам'ять за правилами з нашого посібника з VRAM: QLoRA ≈ 0,75 ГБ на мільярд параметрів, LoRA = 2 байти на параметр × 1,2, повне дообучення 16–18 байтів на параметр. Наші ціни станом на 29 жовтня 2026 року.
| Модель | Метод | VRAM (правило) | GPU | GPUwithCrypto за годину |
|---|---|---|---|---|
| Llama 3.1 8B | QLoRA | 6 GB | 1× RTX 4090 (24 ГБ) | $0.28/година |
| Llama 3.1 8B | LoRA (база BF16) | 19.2 GB | 1× RTX 4090 (24 ГБ) | $0.28/година |
| Llama 3.1 8B | Повне дообучення | 128–144 GB + активації | 1× B200 (180 ГБ) | $4.61/година |
| Llama 3.1 70B | QLoRA | 52.5 GB | 1× A100 80GB або 1× H100 | $0.92/година або $2.32/годину |
| Llama 3.1 70B | LoRA (база BF16) | 168 GB | 1× B200 або 2× H200 | $4.61/година або $6.14/годину |
Ціни перевірено
Диск: ваги Llama 3.1 8B Instruct займають 16,1 ГБ, ваги 70B Instruct — 141,1 ГБ. Залиште місце для чекпойнтів.
Як запустити QLoRA-дообучення Llama 3.1 8B?
Команди з документації Hugging Face TRL і Hub. Замініть id моделі на meta-llama/Llama-3.1-70B-Instruct на GPU з 80 ГБ, щоб так само тренирувати модель 70B. Уперше берете GPU в оренду? Як орендувати GPU для AI описує акаунт, SSH і перше завдання.
Орендуйте GPU
Запустіть інстанс 1× RTX 4090 для моделі 8B або 1× A100 80GB для 70B. Кожен інстанс дає вам цілі GPU, а не розділений у часі слот чи MIG-розділ. Ви отримуєте root SSH-доступ до Ubuntu з встановленими NVIDIA driver, CUDA і PyTorch, або стартуєте з власного Docker image.
Отримайте доступ до Llama
Репозиторії meta-llama на Hugging Face закриті: подайте запит на доступ на сторінці моделі та прийміть ліцензію Meta, потім виконайте
hf auth loginна інстансі з токеном читання.Встановіть TRL, PEFT і bitsandbytes
pip install "trl[peft]" bitsandbytes. bitsandbytes забезпечує 4-бітне завантаження, потрібне для QLoRA.Виберіть датасет
Використайте id датасету Hugging Face або власний файл розмов. У прикладі використовується
trl-lib/Capybara— датасет із власних прикладів TRL.Тренуйте адаптер
Виконайте наведену нижче команду
trl sftусерединіtmux.--load_in_4bitзавантажує базову модель у 4 бітах,--use_peftдодає адаптер LoRA, а чекпойнти потрапляють у--output_dir.Перевірте адаптер
Завантажте базову модель, підключіть адаптер через PEFT і порівняйте відповіді з базовою моделлю на ваших власних запитах.
Скопіюйте адаптер, потім видаліть
Кожен інстанс має локальний NVMe-диск, розмір якого відповідає його GPU і показується перед стартом. Диск стирається, коли ви видаляєте інстанс, тож спершу скопіюйте свої checkpoints. Скопіюйте теку результатів на свій комп'ютер або завантажте її в приватний репозиторій Hugging Face, потім видаліть інстанс.
pip install "trl[peft]" bitsandbytes
hf auth login
trl sft \
--model_name_or_path meta-llama/Llama-3.1-8B-Instruct \
--dataset_name trl-lib/Capybara \
--load_in_4bit \
--use_peft \
--lora_r 32 \
--lora_alpha 16 \
--lora_target_modules q_proj k_proj v_proj o_proj gate_proj up_proj down_proj \
--learning_rate 2.0e-4 \
--num_train_epochs 1 \
--per_device_train_batch_size 1 \
--gradient_accumulation_steps 16 \
--gradient_checkpointing \
--save_strategy steps \
--save_steps 200 \
--output_dir llama-3.1-8b-qlora
Що роблять основні прапорці тренування?
--lora_r 32 --lora_alpha 16: ранг і масштабування адаптера, значення з прикладів PEFT у TRL. Ранг 32 на всіх семи лінійних шарах Llama 3.1 8B тренирує близько 84 мільйонів параметрів, приблизно 1% моделі.--learning_rate 2.0e-4: документація TRL рекомендує для LoRA приблизно в 10 разів більший rate, ніж для повного дообучення (2.0e-5).--per_device_train_batch_size 1 --gradient_accumulation_steps 16: ефективний батч 16 із пам'яттю батча 1.--gradient_checkpointing: перераховує активації замість зберігання, обмінюючи час на пам'ять.--save_strategy steps --save_steps 200: записує чекпойнт кожні 200 кроків, тож збій коштує щонайбільше 200 кроків.
# from your computer: copy the adapter folder before you delete the instance
rsync -avP -e "ssh -p SSH_PORT" root@HOST:/root/llama-3.1-8b-qlora/ ./llama-3.1-8b-qlora/
# or, on the instance: create a private repo on huggingface.co first, then upload
hf upload your-name/llama-3.1-8b-qlora ./llama-3.1-8b-qlora .
# later, serve the base model with the adapter in vLLM
vllm serve meta-llama/Llama-3.1-8B-Instruct \
--enable-lora --max-lora-rank 32 \
--lora-modules my-adapter=./llama-3.1-8b-qlora
Скільки коштує дообучення Llama на орендованому GPU?
Вартість = GPU × години реального часу × ціна за GPU-годину. Години нижче — це припущення для ілюстрації, а не вимірювання: час виконання залежить від токенів вашого датасету, довжини послідовності та розміру батча. Ми вибрали години, що відповідають нашим блокам по 10 і 24 GPU-години. GPU-години продаються блоками по 10, 24, 168 або 720 годин для однієї моделі GPU за тією самою годинною ставкою; інстанси цього GPU споживають їх щохвилини, а невикористані години ніколи не згорають. Кожен GPU і блок перелічено на сторінці цін на GPU.
Малий GPU — найбільша економія. За перевіркою цін GPUwithCrypto станом на 29 жовтня 2026 року, найнижча ціна самообслуговуваної on-demand RTX 4090 становила $0.33 за годину (Salad), а найнижча H100 — $2.73 (Massed Compute): у 8,3 раза більше, для завдання 8B QLoRA, яке в будь-якому разі вміщається в 24 ГБ. На сторінці цін RTX 4090 перелічено провайдерів, яких ми перевірили.
Оцінка вартості запуску за припущених годин
| Завдання | Конфігурація | Припущені години (не виміряно) | GPU-години | Вартість GPUwithCrypto |
|---|---|---|---|---|
| Llama 3.1 8B, QLoRA | 1× RTX 4090 | 10 | 10 | 2,80 USD |
| Llama 3.1 8B, LoRA | 1× RTX 4090 | 24 | 24 | 6,72 USD |
| Llama 3.1 70B, QLoRA | 1× A100 80GB | 24 | 24 | 22,08 USD |
| Llama 3.1 70B, LoRA | 2× H200 | 12 | 24 | 73,68 USD |
Ціни перевірено
Як не втратити роботу на орендованому GPU?
Зберігайте часто, копіюйте назовні якомога раніше й стежте за балансом. Інстанси є on-demand, а не spot: ніхто не може забрати ваш GPU, поки ваш баланс його покриває, і інстанс працює, доки ви його не зупините. Коли GPU-години для GPU вичерпуються, його інстанси зупиняються, а їхні диски зберігаються; новий блок годин дозволяє запустити їх знову. Якщо запуск зупиниться, Trainer з Hugging Face відновить роботу з останнього checkpoint у вихідній теці, коли ви викличете trainer.train(resume_from_checkpoint=True) з Python. Unsloth і Axolotl — ще два відомі інструменти для LoRA; цей посібник використовує TRL, бо його прапорці командного рядка задокументовані на власних сторінках Hugging Face.
Питання про fine-tuning Llama
Скільки VRAM потрібно для fine-tuning Llama 3.1 8B?
Близько 6 GB з QLoRA і 19,2 GB з LoRA на базі BF16, тож RTX 4090 на 24 GB впорається з обома. Повний fine-tuning потребує від 128 до 144 GB до активацій, тобто один B200 на 180 GB.
Чи можна зробити fine-tuning Llama 70B на одному GPU?
Так, з QLoRA на A100 або H100 на 80 GB: оцінка — 52,5 GB. LoRA на базі BF16 потребує близько 168 GB, тобто один B200 або два H200. Більше в найкращий GPU для fine-tuning Llama 70B.
Використовувати LoRA чи QLoRA?
QLoRA, коли пам'ять — обмеження: він завантажує базову модель у 4-bit і приблизно втричі зменшує пам'ять порівняно з LoRA. LoRA, коли в GPU є запас: база лишається в BF16. Порівняйте обидва адаптери на власному наборі для оцінювання.
Скільки часу триває fine-tuning Llama?
Це залежить від кількості тренувальних токенів, довжини послідовності та розміру батчу, і ми не вимірювали запуск, тому не даємо жодних строків. Блоку на 10 годин достатньо, щоб виміряти ваші кроки за годину перед довгим запуском.
Чи можу я оплатити GPU криптовалютою?
Так. GPUwithCrypto приймає BTC, USDT, USDC, ETH, SOL, LTC з поповнення 25 USD, без ID і без картки. Інстанси тарифікуються щохвилини за годинною ставкою, поки працюють, з GPU-годин, які ви купили для цього GPU. Зупинка інстансу одразу зупиняє списання.
Джерела (12)
- Інтерфейси командного рядка TRL — Hugging Face (read 2026-10-29)
- Інтеграція TRL PEFT (LoRA, QLoRA, збереження адаптерів) — Hugging Face (read 2026-10-29)
- Посібник Hugging Face CLI (hf auth login, hf upload) — Hugging Face (read 2026-10-29)
- Trainer і TrainingArguments — Hugging Face (read 2026-10-29)
- Картка моделі Llama 3.1 8B — Meta / Hugging Face (read 2026-10-29)
- Картка моделі Llama 3.1 70B — Meta / Hugging Face (read 2026-10-29)
- The Llama 3 Herd of Models (Таблиця 3) — arXiv (read 2026-10-29)
- QLoRA: Efficient Finetuning of Quantized LLMs — arXiv (read 2026-10-29)
- LoRA: Low-Rank Adaptation of Large Language Models — arXiv (read 2026-10-29)
- Рецепти vLLM (прапорці обслуговування LoRA) — vLLM project (read 2026-10-29)
- Зміни цін SaladCloud, листопад 2026 blog.salad.com/saladcloud-price-changes-november-2026 — Salad (read 2026-10-29)
- Ціни Massed Compute vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)