概要
LLM を実行またはファインチューニングするにはどのくらいの VRAM が必要ですか？
必要なVRAMは、モデルのパラメータ数 × パラメータあたりのバイト数に、KVキャッシュとアクティベーション用の約20%を加えたものです。FP16/BF16では10億パラメータあたり2.4 GB、FP8では1.2 GB、4-bitでは0.6 GBです。70Bモデルなら約168 GB、84 GB、42 GBとなります。2026年10月29日時点で、GPUwithCryptoでは収まるGPUを、$0.28/時間のRTX 4090から$3.07/時間のH200まで、暗号資産で支払いながらレンタルできます。
計算式は何ですか？
| 重み | パラメータ数（10億単位） × パラメータあたりのバイト数 = GB |
|---|---|
| パラメータあたりのバイト数 | FP16 / BF16 = 2 · FP8 / INT8 = 1 · 4-bit = 0.5 |
| モデルの実行 | 重み × 1.2。EleutherAIは推論用の追加メモリを重みの20%以下としています |
| 長いコンテキスト | KVキャッシュを追加：2 × レイヤー数 × KVヘッド数 × ヘッドサイズ × 値あたりのバイト数 × トークン数 |
| フルファインチューニング | パラメータあたり16〜18バイト（重み、勾配、AdamWの状態）、アクティベーションは別途 |
| LoRA | 凍結したBF16ベースでパラメータあたり2バイト、計画には× 1.2 |
| QLoRA | 10億パラメータあたり約0.75 GB（4-bitベースとアダプタ） |
モデルに必要なVRAMはどう計算しますか？
パラメータ数にパラメータあたりのバイト数を掛けて、20%を加えます。計算例として、Llama 3.1 70BをFP8で動かす場合：700億 × 1バイト = 70 GBの重み、70 × 1.2 = 84 GBです。これは80 GBのH100 1枚より多く、141 GBのH200 1枚より少ないため、最小構成はH200 1枚です。どのGPUがどのモデルを最もコスト効率よく高速に処理するか：LLM推論に最適なGPU。
20%は、控えめなコンテキスト長とバッチサイズでのKVキャッシュとアクティベーションをカバーします。このルールとパラメータあたりのバイト数は、EleutherAIのTransformer Math 101に基づいています。これはサイズ見積もりのルールであり、保証ではありません。長いプロンプト、多数の並列ユーザー、フレームワークのオーバーヘッドによってこれを超えます。カードのVRAMの5%以内に収まる合計、たとえばQwen2.5 32BをBF16（78 GB）で80 GBのカードに載せる場合は、短いプロンプトのみで動作します。長いプロンプトには1つ上のサイズを選んでください。
各モデルにはどれくらいのVRAMが必要で、どのGPUが合いますか？
各セル：重み × 1.2 → 当社GPUでの最小構成 → その1時間あたりの価格。最小構成 = 合計を収容できる最も少ないGPU数（1、2、4、8枚）のうち、2026年10月29日時点の当社価格で最も安いもの。パラメータ数は公式のモデルカードに基づきます。
| モデル（パラメータ数） | FP16 / BF16 | FP8 / INT8 | 4-bit |
|---|---|---|---|
| Mistral 7B（7.3B） | 17.5 GB → 1× RTX 4090 · $0.28/時間 | 8.8 GB → 1× RTX 4090 · $0.28/時間 | 4.4 GB → 1× RTX 4090 · $0.28/時間 |
| Llama 3.1 8B（8B） | 19.2 GB → 1× RTX 4090 · $0.28/時間 | 9.6 GB → 1× RTX 4090 · $0.28/時間 | 4.8 GB → 1× RTX 4090 · $0.28/時間 |
| Qwen2.5 32B（32.5B） | 78.0 GB → 1× A100 80GB · $0.92/時間 | 39.0 GB → 1× L40S · $0.82/時間 | 19.5 GB → 1× RTX 4090 · $0.28/時間 |
| Llama 3.1 70B（70B） | 168 GB → 1× B200 · $4.61/時間 | 84 GB → 1× H200 · $3.07/時間 | 42 GB → 1× L40S · $0.82/時間 |
| Qwen2.5 72B（72.7B） | 174.5 GB → 1× B200 · $4.61/時間 | 87.2 GB → 1× H200 · $3.07/時間 | 43.6 GB → 1× L40S · $0.82/時間 |
| Llama 3.1 405B（405B） | 972 GB → 8× H200 · $24.56/時間 | 486 GB → 4× H200 · $12.28/時間 | 243 GB → 2× H200 · $6.14/時間 |
価格確認日：
計算式: 70BをBF16で使う場合 = 70 × 2 = 140 GB、× 1.2 = 168 GB。A100にはFP8 Tensor Coreがないため、FP8の欄はAda、Hopper、BlackwellのGPUを指します。GPUのサイズ: RTX 4090 24 GB、RTX 5090 32 GB、L40S 48 GB、A100とH100 80 GB、H200 141 GB、B200 180 GB。
すでに量子化済みで公開されているモデルには、どれくらいのVRAMが必要ですか？
一部のモデルは独自のコンパクトな形式で配布されているため、重みは計算せずHugging Face上で実測します。Mixture-of-experts（MoE）モデルはトークンごとに少数のエキスパートを有効化します。これで削減できるのは計算量であり、メモリではありません。すべてのエキスパートをVRAMに載せる必要があるためです。
| モデル | 総パラメータ数 / 有効パラメータ数 | 公開されている重み | × 1.2 | 最小構成 | GPUwithCrypto/時間 |
|---|---|---|---|---|---|
| gpt-oss-120b | 117B / 5.1B | 65.3 GB（MXFP4 MoEの重み） | 78.3 GB | 1× H100 80GB（カード仕様: 「単一の80GB GPU」） | $2.32/時間 |
| DeepSeek-V3 / R1 | 671B / 37B | 671 GB（FP8） | 805 GB | 8× H200（1,128 GB） | $24.56/時間 |
| DeepSeek V4 Flash | 284B / 13B | 159.6 GB（FP4エキスパート + FP8） | 191.5 GB | 2× H200（282 GB） | $6.14/時間 |
| DeepSeek V4 Pro | 1.6T / 49B | 864.7 GB（FP4エキスパート + FP8） | 1,037.6 GB | 8× H200（1,128 GB） | $24.56/時間 |
価格確認日：
V4の重み = 各deepseek-aiリポジトリのsafetensorsファイルの合計サイズ（2026年10月29日時点で確認）。ServingエンジンはV4 Flash向けにより大きな構成を記載しています（SGLangのcookbookでは4× H200）。詳しくはDeepSeek V4ガイドをご覧ください。
長いコンテキストを使うとVRAMはどれくらい増えますか？
長いコンテキストではKVキャッシュが増えます。レイヤーごと、KVヘッドごと、トークンごとに2つのベクトル（キーとバリュー）を持ちます。Llama 3.1 70B（Llama 3の論文によると80レイヤー、128値のKVヘッド8個）をBF16で使う場合: 2 × 80 × 8 × 128 × 2バイト = 1トークンあたり327,680バイト。したがって、128Kトークンの会話1回（131,072トークン）には42.9 GBが必要です。
これをFP8の重みに足すと、70 + 42.9 = 112.9 GBとなり、H200 1台で足ります。そのような会話を同時に4つ行う場合は70 + 4 × 42.9 = 241.6 GB必要なので、H200 2台になります。FP8のKVキャッシュを使えばキャッシュの数値は半分になります。DeepSeekモデルはアテンションキャッシュを圧縮しているため、この計算式は当てはまりません。
会話1回あたりのKVキャッシュはどれくらいですか（BF16）？
| モデル | トークンあたり | 8Kトークン | 32Kトークン | 128Kトークン |
|---|---|---|---|---|
| Llama 3.1 8B | 128 KiB | 1.1 GB | 4.3 GB | 17.2 GB |
| Llama 3.1 70B | 320 KiB | 2.7 GB | 10.7 GB | 42.9 GB |
| Qwen2.5 72B | 320 KiB | 2.7 GB | 10.7 GB | 42.9 GB |
| Llama 3.1 405B | 504 KiB | 4.2 GB | 16.9 GB | 67.6 GB |
LLMをファインチューニングするにはどれくらいのVRAMが必要ですか？
フルファインチューニングでは、アクティベーションを除いても1パラメータあたり16〜18バイト必要です。EleutherAIは重み2バイト、オプティマイザ状態12バイト（FP32コピー込み）、勾配2バイトと数えています。Hugging Faceは6 + 8 + 4 = 18と数えています。LoRAはベースモデルを凍結するため、BF16のベースで1パラメータあたり約2バイトで済みます。LoRAの論文では、フルファインチューニングと比べてGPUメモリが3分の1になると報告されています。LoRAに掛ける× 1.2の計画用マージンは当社独自の慣例です。QLoRAはベースを4ビットで読み込みます。その著者は48 GBのGPU 1台で65Bモデルをファインチューニングしており、48 ÷ 65 = 0.74 GB/10億パラメータ（0.75に四捨五入）です。各手法を70Bモデルに適用した場合: Llama 70Bのファインチューニングに最適なGPU。
各ファインチューニング手法にはどのGPUが合いますか？
上記のルールで算出したメモリ → 当社GPUのうち最小の適合品 → 1時間あたりの料金（2026年10月29日）。アクティベーションはこれに加算されます。勾配チェックポイントを使うとアクティベーションを削減できます。
| モデル | フルファインチューニング（16〜18 B/パラメータ） | LoRA（BF16ベース × 1.2） | QLoRA（1Bあたり0.75 GB） |
|---|---|---|---|
| Llama 3.1 8B | 128～144 GB → 1× B200 · $4.61/時間 | 19.2 GB → 1× RTX 4090 · $0.28/時間 | 6 GB → 1× RTX 4090 · $0.28/時間 |
| Qwen2.5 32B | 520～585 GB → 4× B200 · $18.44/時間 | 78 GB → 1× A100 80GB · $0.92/時間 | 24.4 GB → 1× RTX 5090 · $0.42/時間 |
| Llama 3.1 70B | 1,120～1,260 GB → 8× B200 · $36.88/時間 | 168 GB → 1× B200 · $4.61/時間 | 52.5 GB → 1× A100 80GB · $0.92/時間 |
| Llama 3.1 405B | 6,480～7,290 GB → 8-GPUホスト1台では足りません | 972 GB → 8× H200 · $24.56/時間 | 304 GB → 2× B200 · $9.22/時間 |
| FLUX.1 [dev]（12B） | 192～216 GB → 2× H200 · $6.14/時間 | 28.8 GB → 1× RTX 5090 · $0.42/時間 | 9 GB → 1× RTX 4090 · $0.28/時間 |
価格確認日：
GPU数が2、4、8と飛び飛びになるのはなぜですか？
Tensor parallelismは各レイヤーのattention headをGPU全体に均等に分割します。vLLMはhead数がGPU数で割り切れない場合、起動を拒否します。Llama 3.1 70Bはattention headが64個あるため、2、4、8枚のGPUでは動作しますが3枚では動作しません。80 GBのH100を3枚（240 GB）あれば、計算上は168 GBのモデルが載りますが、実用的な構成ではありません。4枚なら実用的です。インスタンスのGPU数はホストにより1〜8基です。開始前に、ダッシュボードに各ホストの国、GPU数、フォームファクター（SXMまたはPCIe）、インターコネクトが表示されます。
適切なGPUの1時間あたりのコストはいくらですか？
請求額を最も大きく左右するのは精度の選択です。Llama 3.1 70BはBF16ならB200が1枚必要ですが、4-bitならL40Sが1枚で済みます。GPUwithCryptoによる2026年10月29日の価格調査によると、この2つのGPUのセルフサービス従量課金の最安値は1時間あたり$5.43と$0.97でした。4-bitにすると時間あたりのコストが82%削減されます。当社の価格ではこの2つは$4.61/時間と$0.82/時間です。導入前に、ご自身のプロンプトで4-bitの出力を確認してください。すべてのGPUと時間数のブロックは料金ページに掲載しています。
VRAMに関する質問
70Bモデルを動かすにはどれくらいのVRAMが必要ですか？
FP16/BF16で約168 GB、FP8で84 GB、4-bitで42 GBです（20%のオーバーヘッドルールを含みます）。つまりB200が1枚、H200が1枚、または48 GBのL40Sが1枚です。128Kトークンの会話では、Llama 3.1 70BでBF16のKVキャッシュが42.9 GB追加されます。
7BモデルをファインチューニングするにはどれくらいのVRAMが必要ですか？
7Bモデルのフルファインチューニングには、activationを除いて112～126 GB必要です（パラメータあたり16～18バイト）。LoRAは約16.8 GB（7 × 2 × 1.2）、QLoRAは約5.3 GB（7 × 0.75）なので、どちらも24 GBのRTX 4090に収まります。
LoRAをトレーニングするにはどれくらいのVRAMが必要ですか？
LLMの場合、BF16のベースモデルで10億パラメータあたり約2.4 GB、4-bitのベースモデル（QLoRA）で0.75 GBです。transformerが12BパラメータのFLUX.1 [dev]の場合、LoRAで約28.8 GB（RTX 5090）、QLoRAで9 GBです。
DeepSeek V4 FlashとV4 ProにはどれくらいのVRAMが必要ですか？
Hugging Faceで公開されている重みは159.6 GB（Flash、284Bパラメータ）と864.7 GB（Pro、1.6T）です。20%のオーバーヘッドを含めると191.5 GBと1,037.6 GBとなり、最低でもH200が2枚とH200が8枚必要です。コマンドはDeepSeek V4ガイドに掲載しています。
70BモデルをRTX 4090 1枚で動かせますか？
VRAMに完全には収まりません。4-bitでも重みは35 GB必要で、24 GBを超えます。レイヤーをシステムRAMにオフロードするツールなら動作しますが、その場合トークンごとにPCIe経由の転送を待つことになります。48 GBのL40S 1枚なら4-bitで収まります。
GPUを暗号資産で支払えますか？
はい。GPUwithCryptoでは$1へのチャージからBTC, USDT, USDC, ETH, SOL, LTC, XMRで支払えます。本人確認もカードも不要です。インスタンスは稼働中、そのGPU用に購入したGPU時間から時間単価で分単位で課金されます。インスタンスを停止すると課金も即座に停止します。
出典 (15)
- Transformer Math 101 — EleutherAI (read 2026-10-29)
- Model training anatomy (GPU memory) — Hugging Face (read 2026-10-29)
- LoRA: Low-Rank Adaptation of Large Language Models — arXiv (read 2026-10-29)
- QLoRA: Efficient Finetuning of Quantized LLMs — arXiv (read 2026-10-29)
- The Llama 3 Herd of Models（Table 3） — arXiv (read 2026-10-29)
- Llama 3.1 70B モデルカード — Meta / Hugging Face (read 2026-10-29)
- Mistral 7Bの公開 — Mistral AI (read 2026-10-29)
- Qwen2.5-32B-Instructモデルカード — Qwen / Hugging Face (read 2026-10-29)
- Qwen2.5-72B-Instructモデルカード — Qwen / Hugging Face (read 2026-10-29)
- gpt-oss-120bモデルカード — OpenAI / Hugging Face (read 2026-10-29)
- DeepSeek-V3モデルカード — DeepSeek / Hugging Face (read 2026-10-29)
- DeepSeek-V4-Flash モデルカードとファイル — DeepSeek / Hugging Face (read 2026-10-29)
- DeepSeek-V4-Pro モデルカードとファイル — DeepSeek / Hugging Face (read 2026-10-29)
- Attention head数はtensor parallel sizeで割り切れる必要があります（discussion #1041） — vLLM project (read 2026-10-29)
- NVIDIA H200の仕様 — NVIDIA (read 2026-10-29)