Коротка відповідь
Який GPU найкращий для дообучення Llama 70B?
Найкращий GPU для дообучення Llama 70B залежить від методу. QLoRA потребує близько 52.5 GB, тобто один 80 GB A100 або H100. LoRA на базі BF16 потребує близько 168 GB, тобто один 180 GB B200 або два H200. Повне дообучення потребує від 1,120 до 1,260 GB до активацій, тобто вісім B200. Станом на 29 жовтня 2026 GPUwithCrypto здає в оренду A100 80GB за $0.92/година, з оплатою в крипті.
Який GPU для якого методу?
| QLoRA (4-бітна база) | ≈ 52.5 GB → 1× A100 80GB ($0.92/година) або 1× H100 ($2.32/годину) |
|---|---|
| LoRA (база BF16) | Мінімум 140 GB, для планування ≈ 168 GB → 1× B200 ($4.61/година) або 2× H200 ($6.14/годину) |
| Повне дообучення, 8-бітний Adam | ≈ 840 GB → 8× H200 ($24.56/годину) |
| Повне дообучення, AdamW | 1,120–1,260 GB → 8× B200 ($36.88/годину) |
| Замало | Один 48 GB L40S не вкладається в оцінку QLoRA у 52.5 GB; автори QLoRA вмістили модель 65B на одному 48 GB GPU |
Скільки пам'яті потребує кожен метод для моделі 70B?
- QLoRA: базова модель завантажується в 4-бітному форматі й заморожується; навчаються лише невеликі адаптери. У статті про QLoRA модель 65B дообучили на одному 48 GB GPU: 48 ÷ 65 = 0.74 GB на мільярд параметрів, округлено до 0.75. Для 70B: 70 × 0.75 = 52.5 GB.
- LoRA: база лишається у BF16 і замороженою: 70 × 2 байти = 140 GB. Адаптери та їхній оптимізатор додають близько 1%; із нашим 20% запасом на планування 140 × 1.2 = 168 GB.
- Повне дообучення, змішана точність з AdamW: EleutherAI рахує 2 + 12 + 2 = 16 байтів на параметр (ваги, оптимізатор з FP32-копією, градієнти): 70 × 16 = 1,120 GB. Hugging Face рахує 6 + 8 + 4 = 18 байтів: 1,260 GB. Активації йдуть зверху.
- Повне дообучення з 8-бітним Adam: Hugging Face оцінює стани 8-бітного оптимізатора у 2 байти замість 8, тож 6 + 2 + 4 = 12 байтів: 70 × 12 = 840 GB.
Це правила планування з наведених джерел, а не вимірювання. Довжина послідовності й розмір батчу змінюють пам'ять під активації; gradient checkpointing її зменшує. Ті самі правила для інших розмірів моделей: скільки VRAM мені потрібно?
Скільки GPU потребує кожен метод?
✓ = сумарна VRAM конфігурації вміщує оцінку для методу. Рядки з кількома GPU припускають, що модель розподілена між GPU (FSDP або DeepSpeed ZeRO-3). Наші ціни за годину для всієї конфігурації, 29 жовтня 2026.
| Конфігурація | Сумарна VRAM | QLoRA (52.5 GB) | LoRA (168 GB) | Повне, 8-бітний Adam (840 GB) | Повне, AdamW (1,260 GB) | GPUwithCrypto за годину |
|---|---|---|---|---|---|---|
| 1× L40S | 48 GB | ✗ | ✗ | ✗ | ✗ | $0.82/година |
| 1× A100 80GB | 80 GB | ✓ | ✗ | ✗ | ✗ | $0.92/година |
| 1× H100 | 80 GB | ✓ | ✗ | ✗ | ✗ | $2.32/годину |
| 1× H200 | 141 GB | ✓ | ✗ | ✗ | ✗ | $3.07/година |
| 1× B200 | 180 GB | ✓ | ✓ | ✗ | ✗ | $4.61/година |
| 2× H200 | 282 GB | ✓ | ✓ | ✗ | ✗ | $6.14/годину |
| 4× A100 80GB | 320 GB | ✓ | ✓ | ✗ | ✗ | $3.68/годину |
| 8× H100 | 640 GB | ✓ | ✓ | ✗ | ✗ | $18.56/година |
| 8× H200 | 1,128 GB | ✓ | ✓ | ✓ | ✗ | $24.56/година |
| 8× B200 | 1,440 GB | ✓ | ✓ | ✓ | ✓ | $36.88/година |
Ціни перевірено
8× H200 вміщує оцінку в 16 байтів (1 120 GB) лише на папері, але залишає 8 GB для активацій, тому позначено ✗ для AdamW. 8× B200 залишає 180 GB після оцінки в 18 байтів. Інстанси мають від 1 до 8 GPU залежно від хоста. Перед стартом дашборд показує країну кожного хоста, кількість GPU, форм-фактор (SXM або PCIe) та інтерконект.
Скільки коштує запуск fine-tuning Llama 70B?
Вартість = GPU × години роботи × ціна за GPU-годину. Години нижче — це припущення для ілюстрації, а не вимірювання: час виконання залежить від кількості токенів тренування, довжини послідовності, розміру батчу та програмного забезпечення. Виміряйте власні кроки за годину на короткому запуску, перш ніж планувати довгий. Припущені години відповідають нашим блокам на 10, 24 і 168 GPU-годин. GPU-години продаються блоками по 10, 24, 168 або 720 годин для однієї моделі GPU за тією самою годинною ставкою; інстанси цього GPU споживають їх щохвилини, а невикористані години ніколи не згорають. Кожен блок і кожен GPU вказані на сторінці цін на GPU.
Оцінка вартості запуску за припущених годин
| Метод | Конфігурація | Припущені години (не виміряно) | GPU-години | Вартість GPUwithCrypto |
|---|---|---|---|---|
| QLoRA | 1× A100 80GB | 10 | 10 | 9,20 USD |
| QLoRA | 1× H100 | 10 | 10 | 23,20 USD |
| LoRA | 1× B200 | 24 | 24 | 110,64 USD |
| LoRA | 2× H200 | 12 | 24 | 73,68 USD |
| Повне, 8-бітний Adam | 8× H200 | 21 | 168 | 515,76 USD |
| Повне, AdamW | 8× B200 | 21 | 168 | 774,48 USD |
Ціни перевірено
Наскільки повне fine-tuning дорожче за QLoRA?
Приблизно в 40 разів дорожче за годину роботи обладнання. Згідно з перевіркою цін GPUwithCrypto від 29 жовтня 2026 року, найнижча ціна self-serve on-demand для інстансу 8× B200 становила $43.46 за годину (Massed Compute, $5.4325 за GPU). Один A100 80GB коштував $1.09 за годину в Thunder Compute. Співвідношення те саме за нашими цінами: $36.88/година проти $0.92/година.
Саме через цю різницю більшість проєктів на 70B починають з QLoRA або LoRA. У статті про LoRA повідомляється про результати на рівні повного fine-tuning на протестованих задачах, але з у 10 000 разів меншою кількістю параметрів, що тренуються.
Що краще для QLoRA на 70B — H100 чи A100?
Обидва вміщують оцінку в 52.5 GB у 80 GB. H100 має в 3.2 раза вищу пікову пропускну здатність BF16 Tensor, ніж A100 (989.5 проти 312 TFLOPS dense), і 3 350 GB/s пропускної здатності пам'яті (SXM) проти 2 039 GB/s. Це пікові показники NVIDIA; реальна швидкість тренування залежить від програмного забезпечення. A100 коштує $0.92/година, а H100 — $2.32/годину за нашими цінами. Обирайте A100, коли бюджет фіксований, і H100, коли дедлайн. Детальніше: H100 vs A100.
Яке програмне забезпечення запускає кожен метод?
Hugging Face TRL запускає QLoRA і LoRA однією командою: --load_in_4bit --use_peft для QLoRA, лише --use_peft для LoRA. Для багатопроцесорного LoRA та повного fine-tuning TRL постачає готові профілі Accelerate, як-от fsdp2 і zero3 (DeepSpeed ZeRO-3), що передаються з --accelerate_config. Репозиторії Llama 3.1 на Hugging Face закриті: спершу прийміть ліцензію Meta на сторінці моделі. Покрокові команди: fine-tune Llama на орендованому GPU.
Питання про fine-tuning Llama 70B
Чи можна зробити fine-tuning Llama 70B на одному GPU?
Так, з QLoRA на 80 GB GPU: оцінка становить 52.5 GB. LoRA на базі BF16 також вміщується в один GPU, але лише в B200 на 180 GB. Повне fine-tuning потребує восьми B200 або восьми H200 з 8-бітним оптимізатором.
Чи можна зробити fine-tuning Llama 70B на RTX 4090?
Ні. Навіть у 4-біт, самі ваги 70B займають 35 GB, більше ніж 24 GB у RTX 4090. Найменший GPU, який ми орендуємо і який вміщує запуск QLoRA, — це A100 на 80 GB.
Скільки VRAM потрібно для fine-tuning Llama 70B з LoRA?
Приблизно 140 GB для заморожених ваг BF16 і приблизно 168 GB із запасом 20% для адаптерів та активацій. Це вміщує один B200 (180 GB), два H200 (282 GB) або чотири GPU на 80 GB.
Скільки часу займає fine-tuning Llama 70B?
Це залежить від кількості токенів у вашому наборі даних, довжини послідовності та розміру батчу, і ми не вимірювали запуск, тому не публікуємо жодних термінів. Почніть з блоку на 10 годин, виміряйте кроки за годину на ваших даних, а потім плануйте повний запуск.
Чи можна оплатити GPU криптовалютою?
Так. GPUwithCrypto приймає BTC, USDT, USDC, ETH, SOL, LTC з поповнення 25 USD, без ID і без картки. Невикористані GPU-години не згорають.
Джерела (12)
- QLoRA: Efficient Finetuning of Quantized LLMs — arXiv (read 2026-10-29)
- Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA — Hugging Face (read 2026-10-29)
- LoRA: Low-Rank Adaptation of Large Language Models — arXiv (read 2026-10-29)
- Transformer Math 101 — EleutherAI (read 2026-10-29)
- Model training anatomy (GPU memory) — Hugging Face (read 2026-10-29)
- Картка моделі Llama 3.1 70B — Meta / Hugging Face (read 2026-10-29)
- Інтерфейси командного рядка TRL — Hugging Face (read 2026-10-29)
- Інтеграція TRL з PEFT — Hugging Face (read 2026-10-29)
- Характеристики NVIDIA A100 — NVIDIA (read 2026-10-29)
- Характеристики NVIDIA H100 — NVIDIA (read 2026-10-29)
- Ціни Massed Compute vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)
- Ціни Thunder Compute thundercompute.com/pricing — Thunder Compute (read 2026-10-29)