Ile VRAM potrzebuję, aby uruchomić lub dostroić LLM?

Jak obliczyć VRAM potrzebny modelowi?

Pomnóż liczbę parametrów przez liczbę bajtów przypadających na każdy parametr, a następnie dodaj 20%. Przykład obliczeniowy, Llama 3.1 70B w FP8: 70 miliardów × 1 bajt = 70 GB wag, a 70 × 1,2 = 84 GB. To więcej niż jeden H100 80 GB i mniej niż jeden H200 141 GB, więc najmniejszy pasujący zestaw to jeden H200. Które GPU obsługuje który model najszybciej za pieniądze: najlepsze GPU do inferencji LLM.

20% pokrywa KV cache i aktywacje przy umiarkowanej długości kontekstu i rozmiarze batcha. Reguła i liczba bajtów na parametr pochodzą z Transformer Math 101 EleutherAI. To reguła szacowania rozmiaru, a nie gwarancja: długie prompty, wielu równoległych użytkowników i narzut frameworka ją przekraczają. Suma w granicach 5% VRAM karty, jak Qwen2.5 32B w BF16 (78 GB) na karcie 80 GB, działa tylko z krótkimi promptami; przy długich weź o rozmiar większą.

Ile VRAM dodaje długi kontekst?

Długi kontekst dodaje KV cache: dwa wektory (klucz i wartość) na warstwę, na KV head, na token. Dla Llama 3.1 70B (80 warstw, 8 KV heads po 128 wartości, zgodnie z artykułem o Llama 3) w BF16: 2 × 80 × 8 × 128 × 2 bajty = 327 680 bajtów na token. Jedna rozmowa na 128K tokenów (131 072 tokeny) wymaga zatem 42,9 GB.

Dodaj to do wag FP8: 70 + 42,9 = 112,9 GB, wciąż jeden H200. Cztery takie rozmowy naraz wymagają 70 + 4 × 42,9 = 241,6 GB, czyli dwóch H200. KV cache w FP8 zmniejsza te wartości o połowę. Modele DeepSeek kompresują swój cache uwagi, więc ten wzór ich nie dotyczy.

Ile VRAM potrzebuję do fine-tuningu LLM?

Pełny fine-tuning wymaga od 16 do 18 bajtów na parametr, nie licząc aktywacji. EleutherAI liczy 2 bajty na wagi, 12 na stan optymalizatora (z kopią FP32) i 2 na gradienty; Hugging Face liczy 6 + 8 + 4 = 18. LoRA zamraża model bazowy, więc potrzebuje około 2 bajtów na parametr dla bazy w BF16; artykuł o LoRA podaje 3× mniejsze zużycie pamięci GPU niż pełny fine-tuning. Nasz margines planistyczny × 1,2 przy LoRA to nasza własna konwencja. QLoRA ładuje bazę w 4 bitach: jej autorzy dostroili model 65B na jednym GPU 48 GB, 48 ÷ 65 = 0,74 GB na miliard parametrów, zaokrąglone do 0,75. Każda metoda zastosowana do modelu 70B: najlepszy GPU do fine-tuningu Llama 70B.

Dlaczego liczba GPU skacze z 2 na 4 i 8?

Tensor parallelism dzieli głowy uwagi każdej warstwy równo między GPU. vLLM nie uruchomi się, gdy liczba głów nie jest podzielna przez liczbę GPU. Llama 3.1 70B ma 64 głowy uwagi, więc działają 2, 4 lub 8 GPU, a 3 nie. Trzy H100 po 80 GB (240 GB) mieszczą model 168 GB na papierze, ale to nie jest użyteczny układ; cztery już tak. Instancje mają od 1 do 8 GPU w zależności od hosta. Przed startem dashboard pokazuje kraj każdego hosta, liczbę GPU, form factor (SXM lub PCIe) i interconnect.

Ile kosztuje właściwe GPU za godzinę?

Precyzja zmienia rachunek bardziej niż jakikolwiek inny wybór. Llama 3.1 70B potrzebuje jednego B200 w BF16, ale jednego L40S w 4-bit. Według sprawdzenia cen na GPUwithCrypto z 29 października 2026 najniższe samoobsługowe ceny on-demand dla tych dwóch GPU wynosiły $5.43 i $0.97 za godzinę: 4-bit obniża koszt godzinowy o 82%. W naszych cenach ta para kosztuje $4.61/godzina i $0.82/godzina. Sprawdź wynik 4-bit na własnych promptach, zanim się zdecydujesz. Każde GPU i blok godzin jest na stronie cen.