Krótka odpowiedź
Jaki jest najlepszy GPU do wnioskowania LLM?
Najlepszy GPU do wnioskowania LLM to najtańszy, którego VRAM pomieści model plus około 20%: RTX 4090 (24 GB) dla modeli 7–8B, L40S (48 GB) dla 32B w FP8 lub 70B w 4-bit, H200 (141 GB) dla 70B w FP8 oraz 8× H200 dla 671B DeepSeek. Na dzień 29 października 2026 GPUwithCrypto wynajmuje H200 za $3.07/godzina, z płatnością kryptowalutą.
Jakiego GPU powinienem użyć dla każdego rozmiaru modelu?
Potrzebny VRAM = wagi × 1,2 (patrz przewodnik po VRAM). Nasza cena oraz najniższa cena on-demand w samoobsłudze za GPU-godzinę, jaką znaleźliśmy u dostawców sprawdzonych 29 października 2026.
| Rozmiar modelu (przykład) | Potrzebny VRAM | Najlepszy GPU | Dlaczego | GPUwithCrypto | Najniższa cena gdzie indziej (za GPU) |
|---|---|---|---|---|---|
| 7–8B w BF16 (Llama 3.1 8B, Mistral 7B) | 17,5–19,2 GB | RTX 4090 24GB | Mieści wagi BF16 plus cache 32K tokenów (4,3 GB na Llama 3.1 8B); Tensor Cores FP8 | $0.28/godzina | $0.33 (Salad) |
| 7–8B z kontekstem 128K tokenów | 16 GB + 17,2 GB cache = 33,2 GB | L40S 48GB | Sam cache BF16 na 128K tokenów wymaga 17,2 GB | $0.82/godzina | $0.97 (Massed Compute) |
| 30–32B w FP8 (Qwen2.5 32B) | 39 GB | L40S 48GB | 48 GB z Tensor Cores FP8 (733 TFLOPS szczytowej wydajności FP8 dense) | $0.82/godzina | $0.97 (Massed Compute) |
| 30–32B w BF16 | 78 GB | A100 80GB | Podstawowy GPU 80 GB w naszej ofercie; brak Tensor Cores FP8, więc serwuj BF16 lub 4-bit | $0.92/godzina | $1.09 (Thunder Compute) |
| 70–72B w 4-bit | 42–43,6 GB | L40S 48GB | Podstawowy GPU powyżej 44 GB w naszej ofercie | $0.82/godzina | $0.97 (Massed Compute) |
| 70–72B w FP8 (Llama 3.1 70B, Qwen2.5 72B) | 84–87,2 GB | H200 141GB | Jeden GPU zamiast dwóch H100; 54–57 GB zostaje na KV cache; 4 800 GB/s | $3.07/godzina | $3.62 (Massed Compute) |
| gpt-oss-120b (MXFP4) | 78.3 GB | H100 80GB | Jej karta modelu jest przeznaczona dla jednego GPU 80 GB; FP8 Tensor Cores, 3 350 GB/s (SXM) | $2.32/godzinę | $2.73 (Massed Compute) |
| DeepSeek V4 Flash (284B MoE) | 191.5 GB | 2× H200 | Jej wagi FP4/FP8 zajmują 159,6 GB; SGLang dokumentuje 4× H200 | $6.14/godzinę | $3.62 (Massed Compute) |
| 405B w FP8 (Llama 3.1 405B) | 486 GB | 4× H200 | 564 GB na czterech GPU; 8× H100 wymagałoby dwukrotnie większej liczby GPU | $12.28/godzinę | $3.62 (Massed Compute) |
| 671B–1,6T MoE (DeepSeek-V3/R1 FP8, V4 Pro) | 805–1 037,6 GB | 8× H200 | 1 128 GB na jednym hoście; 8× H100 mieści tylko 640 GB | $24.56/godzinę | $3.62 (Massed Compute) |
Ceny sprawdzone
Za GPU-godzinę, USD, bez podatków. Ceny spot i marketplace nie są liczone: mogą być niższe, ale GPU może zostać odebrany.
Dlaczego VRAM ma większe znaczenie niż TFLOPS przy inferencji?
VRAM decyduje, czy model w ogóle się uruchomi, a przepustowość pamięci wyznacza limit szybkości generowania tekstu. Każdy nowy token odczytuje raz z pamięci każdą aktywną wagę, więc przy małych rozmiarach batcha GPU czeka na pamięć, a nie na arytmetykę. Moc obliczeniowa ma większe znaczenie przy długich promptach (prefill) i przy dużych batchach użytkowników.
Dlatego H200 i H100 mają tę samą szczytową moc obliczeniową FP8 (1 979 TFLOPS gęsto, dane NVIDIA), ale H200 mieści o 76% więcej pamięci i przesyła ją o 43% szybciej: 4 800 GB/s wobec 3 350 GB/s. Przepustowość i TFLOPS to tutaj szczytowe wartości NVIDIA, a nie nasze pomiary.
Który GPU pasuje do którego modelu? (uszeregowane według VRAM)
Siedem GPU, które wynajmujemy, uszeregowanych według VRAM na GPU, od największego, bo VRAM decyduje, który model się zmieści. Przepustowość to drugie kryterium, cena za godzinę trzecie.
-
1
NVIDIA B200
Najwięcej VRAM180 GB HBM3e przy 8 000 GB/s (udział na GPU w 8-GPU wartościach HGX NVIDIA), FP8 i FP4 Tensor Cores. Mieści model 70B w BF16 (168 GB) na jednym GPU.
-
141 GB HBM3e przy 4 800 GB/s. Mieści model 70B w FP8 (84 GB) z 57 GB zapasu na KV cache. Osiem takich mieści DeepSeek-V3 lub V4 Pro.
-
80 GB HBM3 przy 3 350 GB/s (SXM) lub 2 000 GB/s (PCIe), FP8 Tensor Cores. Mieści gpt-oss-120b lub model 32B w BF16.
-
80 GB HBM2e przy 2 039 GB/s (SXM) lub 1 935 GB/s (PCIe). Brak FP8 Tensor Cores: serwuj w BF16 lub 4-bit.
-
48 GB GDDR6 przy 864 GB/s, FP8 Tensor Cores, brak NVLink. Mieści 32B w FP8 lub 70B w 4-bit.
-
32 GB GDDR7 przy 1 792 GB/s, rdzenie Tensor FP8 i FP4. Mieści model 12B w BF16 (28,8 GB) lub model 32B w 4 bitach (19,5 GB) z zapasem na długi kontekst.
-
24 GB GDDR6X przy 1 008 GB/s, rdzenie Tensor FP8. Mieści model 7–8B w BF16.
Ujawnienie: tę stronę publikuje GPUwithCrypto. Informacje o konkurentach pochodzą z ich publicznych stron internetowych w dacie podanej powyżej i mogły się od tego czasu zmienić.
Czy jeden H200 jest lepszy od dwóch H100?
Dla modelu 70B w FP8 tak: jeden H200 go mieści, a dwa H100 muszą go dzielić i wymieniać dane na każdej warstwie. Według sprawdzenia cen z 29 października 2026 r. przez GPUwithCrypto mediana dla H200 w trybie on-demand u 13 dostawców wynosiła $5.29 za GPU-godzinę, wobec $4.16 dla H100 u 16 dostawców. H200 kosztuje 27% więcej za godzinę za 76% więcej VRAM, więc jest o 28% tańszy za GB pamięci.
Przy naszych cenach wybór to $3.07/godzina za jeden H200 wobec $4.64/godzinę za dwa H100. Pełne porównanie: H100 vs H200.
A co z GPU spot i z marketplace?
Kosztują mniej i mogą zniknąć w trakcie zadania. Najtańsza oferta H100 na marketplace Vast.ai wynosiła $1.73 za godzinę 29 października 2026 r. (publiczny feed cen Vast.ai), poniżej najniższej ceny on-demand, jaką znaleźliśmy. Dla serwera inference, który musi działać bez przerwy, przerwanie oznacza downtime. Instancje są on-demand, nie spot: nikt nie może odebrać Ci GPU, dopóki starcza na nie saldo, a instancja działa, dopóki jej nie zatrzymasz. Kiedy używać którego: co to jest GPU spot.
Pytania o GPU do inference LLM
Jaki GPU potrzebuję do uruchomienia Llama 70B?
Jeden H200 w FP8 (potrzebne 84 GB, dostępne 141 GB), jeden L40S w 4 bitach (potrzebne 42 GB, dostępne 48 GB) lub jeden B200 w BF16 (potrzebne 168 GB, dostępne 180 GB). Dwa H100 również mieszczą wersję FP8, łącznie 160 GB.
Jaki GPU jest najlepszy do DeepSeek V4?
H200. Wagi DeepSeek V4 Flash zajmują 159,6 GB, więc potrzeba co najmniej dwóch H200, a cookbook SGLang opisuje cztery. V4 Pro potrzebuje 864,7 GB, czyli ośmiu H200. Komendy są w przewodniku po DeepSeek V4.
Czy RTX 4090 nadaje się do inference LLM?
Do modeli 7–8B tak: 24 GB mieszczą Llama 3.1 8B w BF16 (19,2 GB z narzutem) i to GPU podstawowe w naszej ofercie, z przepustowością 1 008 GB/s. Powyżej około 10B parametrów w BF16 brakuje pamięci.
Czy A100 nadal nadaje się do inference w 2026?
Do modeli BF16 i 4-bitowych do 80 GB tak, i to GPU podstawowe 80 GB w naszej ofercie. Nie ma rdzeni Tensor FP8, więc checkpointy FP8 działają lepiej na L40S, H100 lub H200. Zobacz H100 vs A100.
Czy mogę wynająć te GPU za kryptowalutę?
Tak. GPUwithCrypto przyjmuje BTC, USDT, USDC, ETH, SOL, LTC, XMR z doładowania 1 USD, bez dowodu i bez karty. Instancje są rozliczane za minutę według stawki godzinowej, dopóki działają, z GPU-godzin kupionych dla danego GPU. Zatrzymanie instancji natychmiast wstrzymuje naliczanie opłat.
Źródła (14)
- Specyfikacja NVIDIA H200 — NVIDIA (read 2026-10-29)
- Specyfikacja NVIDIA H100 — NVIDIA (read 2026-10-29)
- Specyfikacja NVIDIA A100 — NVIDIA (read 2026-10-29)
- Specyfikacja NVIDIA L40S — NVIDIA (read 2026-10-29)
- Platforma NVIDIA HGX (B200) — NVIDIA (read 2026-10-29)
- Whitepaper architektury NVIDIA Ada GPU (RTX 4090) — NVIDIA (read 2026-10-29)
- Biała księga architektury NVIDIA RTX Blackwell (RTX 5090) — NVIDIA (read 2026-10-29)
- Transformer Math 101 — EleutherAI (read 2026-10-29)
- karta modelu gpt-oss-120b — OpenAI / Hugging Face (read 2026-10-29)
- cookbook DeepSeek-V4 — SGLang (read 2026-10-29)
- Cennik Massed Compute vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)
- Zmiany cen SaladCloud, listopad 2026 blog.salad.com/saladcloud-price-changes-november-2026 — Salad (read 2026-10-29)
- Cennik Thunder Compute thundercompute.com/pricing — Thunder Compute (read 2026-10-29)
- Publiczny feed cen GPU Vast.ai — Vast.ai (read 2026-10-29)