# LLM を実行またはファインチューニングするにはどのくらいの VRAM が必要ですか？

> LLM にはどのくらいの VRAM が必要ですか？パラメータ数 × バイト数 + 20%：70B モデルは FP16 で 168 GB、FP8 で 84 GB が必要です。適合表と暗号資産価格、2026 年 10 月。

- URL: https://gpuwithcrypto.com/ja/how-much-vram-do-i-need/
- 最終更新: 2026-10-29
- 発行者: GPUwithCrypto (https://gpuwithcrypto.com)

計算式、7Bから1.6Tパラメータまでのオープンモデルに対する算術、そしてそれぞれを収容できる当社GPUの最小構成とその1時間あたりの価格です。

**概要 — LLM を実行またはファインチューニングするにはどのくらいの VRAM が必要ですか？**

必要なVRAMは、モデルのパラメータ数 × パラメータあたりのバイト数に、KVキャッシュとアクティベーション用の約20%を加えたものです。FP16/BF16では10億パラメータあたり2.4 GB、FP8では1.2 GB、4-bitでは0.6 GBです。70Bモデルなら約168 GB、84 GB、42 GBとなります。2026年10月29日時点で、**GPUwithCrypto**では収まるGPUを、$0.28/時間のRTX 4090から$3.07/時間のH200まで、暗号資産で支払いながらレンタルできます。

## 計算式は何ですか？

| 項目 | 値 |
| --- | --- |
| 重み | パラメータ数（10億単位） × パラメータあたりのバイト数 = GB |
| パラメータあたりのバイト数 | FP16 / BF16 = 2 · FP8 / INT8 = 1 · 4-bit = 0.5 |
| モデルの実行 | 重み × 1.2。EleutherAIは推論用の追加メモリを重みの20%以下としています |
| 長いコンテキスト | KVキャッシュを追加：2 × レイヤー数 × KVヘッド数 × ヘッドサイズ × 値あたりのバイト数 × トークン数 |
| フルファインチューニング | パラメータあたり16〜18バイト（重み、勾配、AdamWの状態）、アクティベーションは別途 |
| LoRA | 凍結したBF16ベースでパラメータあたり2バイト、計画には× 1.2 |
| QLoRA | 10億パラメータあたり約0.75 GB（4-bitベースとアダプタ） |

## モデルに必要なVRAMはどう計算しますか？

パラメータ数にパラメータあたりのバイト数を掛けて、20%を加えます。計算例として、Llama 3.1 70BをFP8で動かす場合：700億 × 1バイト = 70 GBの重み、70 × 1.2 = 84 GBです。これは80 GBのH100 1枚より多く、141 GBのH200 1枚より少ないため、最小構成はH200 1枚です。どのGPUがどのモデルを最もコスト効率よく高速に処理するか：[LLM推論に最適なGPU](https://gpuwithcrypto.com/ja/best-gpu-for/llm-inference/ "LLM推論に最適なGPUは何ですか？")。

20%は、控えめなコンテキスト長とバッチサイズでのKVキャッシュとアクティベーションをカバーします。このルールとパラメータあたりのバイト数は、EleutherAIの*Transformer Math 101*に基づいています。これはサイズ見積もりのルールであり、保証ではありません。長いプロンプト、多数の並列ユーザー、フレームワークのオーバーヘッドによってこれを超えます。カードのVRAMの5%以内に収まる合計、たとえばQwen2.5 32BをBF16（78 GB）で80 GBのカードに載せる場合は、短いプロンプトのみで動作します。長いプロンプトには1つ上のサイズを選んでください。

## 各モデルにはどれくらいのVRAMが必要で、どのGPUが合いますか？

各セル：重み × 1.2 → 当社GPUでの最小構成 → その1時間あたりの価格。最小構成 = 合計を収容できる最も少ないGPU数（1、2、4、8枚）のうち、2026年10月29日時点の当社価格で最も安いもの。パラメータ数は公式のモデルカードに基づきます。

| モデル（パラメータ数） | FP16 / BF16 | FP8 / INT8 | 4-bit |
| --- | --- | --- | --- |
| Mistral 7B（7.3B） | **17.5 GB** → 1× RTX 4090 · $0.28/時間 | **8.8 GB** → 1× RTX 4090 · $0.28/時間 | **4.4 GB** → 1× RTX 4090 · $0.28/時間 |
| Llama 3.1 8B（8B） | **19.2 GB** → 1× RTX 4090 · $0.28/時間 | **9.6 GB** → 1× RTX 4090 · $0.28/時間 | **4.8 GB** → 1× RTX 4090 · $0.28/時間 |
| Qwen2.5 32B（32.5B） | **78.0 GB** → 1× A100 80GB · $0.92/時間 | **39.0 GB** → 1× L40S · $0.82/時間 | **19.5 GB** → 1× RTX 4090 · $0.28/時間 |
| Llama 3.1 70B（70B） | **168 GB** → 1× B200 · $4.61/時間 | **84 GB** → 1× H200 · $3.07/時間 | **42 GB** → 1× L40S · $0.82/時間 |
| Qwen2.5 72B（72.7B） | **174.5 GB** → 1× B200 · $4.61/時間 | **87.2 GB** → 1× H200 · $3.07/時間 | **43.6 GB** → 1× L40S · $0.82/時間 |
| Llama 3.1 405B（405B） | **972 GB** → 8× H200 · $24.56/時間 | **486 GB** → 4× H200 · $12.28/時間 | **243 GB** → 2× H200 · $6.14/時間 |

*価格確認日：2026年10月29日.*

計算式: 70BをBF16で使う場合 = 70 × 2 = 140 GB、× 1.2 = 168 GB。A100にはFP8 Tensor Coreがないため、FP8の欄はAda、Hopper、BlackwellのGPUを指します。GPUのサイズ: RTX 4090 24 GB、RTX 5090 32 GB、L40S 48 GB、A100とH100 80 GB、H200 141 GB、B200 180 GB。

## すでに量子化済みで公開されているモデルには、どれくらいのVRAMが必要ですか？

一部のモデルは独自のコンパクトな形式で配布されているため、重みは計算せずHugging Face上で実測します。Mixture-of-experts（MoE）モデルはトークンごとに少数のエキスパートを有効化します。これで削減できるのは計算量であり、メモリではありません。すべてのエキスパートをVRAMに載せる必要があるためです。

| モデル | 総パラメータ数 / 有効パラメータ数 | 公開されている重み | × 1.2 | 最小構成 | GPUwithCrypto/時間 |
| --- | --- | --- | --- | --- | --- |
| gpt-oss-120b | 117B / 5.1B | 65.3 GB（MXFP4 MoEの重み） | 78.3 GB | 1× H100 80GB（カード仕様: 「単一の80GB GPU」） | $2.32/時間 |
| DeepSeek-V3 / R1 | 671B / 37B | 671 GB（FP8） | 805 GB | 8× H200（1,128 GB） | $24.56/時間 |
| DeepSeek V4 Flash | 284B / 13B | 159.6 GB（FP4エキスパート + FP8） | 191.5 GB | 2× H200（282 GB） | $6.14/時間 |
| DeepSeek V4 Pro | 1.6T / 49B | 864.7 GB（FP4エキスパート + FP8） | 1,037.6 GB | 8× H200（1,128 GB） | $24.56/時間 |

*価格確認日：2026年10月29日.*

V4の重み = 各deepseek-aiリポジトリのsafetensorsファイルの合計サイズ（2026年10月29日時点で確認）。ServingエンジンはV4 Flash向けにより大きな構成を記載しています（SGLangのcookbookでは4× H200）。詳しくは[DeepSeek V4ガイド](https://gpuwithcrypto.com/ja/guides/run-deepseek-v4-on-cloud-gpu/ "クラウドGPUでDeepSeek V4を実行するにはどうすればよいですか？")をご覧ください。

## 長いコンテキストを使うとVRAMはどれくらい増えますか？

長いコンテキストではKVキャッシュが増えます。レイヤーごと、KVヘッドごと、トークンごとに2つのベクトル（キーとバリュー）を持ちます。Llama 3.1 70B（Llama 3の論文によると80レイヤー、128値のKVヘッド8個）をBF16で使う場合: 2 × 80 × 8 × 128 × 2バイト = 1トークンあたり327,680バイト。したがって、128Kトークンの会話1回（131,072トークン）には42.9 GBが必要です。

これをFP8の重みに足すと、70 + 42.9 = 112.9 GBとなり、H200 1台で足ります。そのような会話を同時に4つ行う場合は70 + 4 × 42.9 = 241.6 GB必要なので、H200 2台になります。FP8のKVキャッシュを使えばキャッシュの数値は半分になります。DeepSeekモデルはアテンションキャッシュを圧縮しているため、この計算式は当てはまりません。

### 会話1回あたりのKVキャッシュはどれくらいですか（BF16）？

| モデル | トークンあたり | 8Kトークン | 32Kトークン | 128Kトークン |
| --- | --- | --- | --- | --- |
| Llama 3.1 8B | 128 KiB | 1.1 GB | 4.3 GB | 17.2 GB |
| Llama 3.1 70B | 320 KiB | 2.7 GB | 10.7 GB | 42.9 GB |
| Qwen2.5 72B | 320 KiB | 2.7 GB | 10.7 GB | 42.9 GB |
| Llama 3.1 405B | 504 KiB | 4.2 GB | 16.9 GB | 67.6 GB |

## LLMをファインチューニングするにはどれくらいのVRAMが必要ですか？

フルファインチューニングでは、アクティベーションを除いても1パラメータあたり16〜18バイト必要です。EleutherAIは重み2バイト、オプティマイザ状態12バイト（FP32コピー込み）、勾配2バイトと数えています。Hugging Faceは6 + 8 + 4 = 18と数えています。LoRAはベースモデルを凍結するため、BF16のベースで1パラメータあたり約2バイトで済みます。LoRAの論文では、フルファインチューニングと比べてGPUメモリが3分の1になると報告されています。LoRAに掛ける× 1.2の計画用マージンは当社独自の慣例です。QLoRAはベースを4ビットで読み込みます。その著者は48 GBのGPU 1台で65Bモデルをファインチューニングしており、48 ÷ 65 = 0.74 GB/10億パラメータ（0.75に四捨五入）です。各手法を70Bモデルに適用した場合: [Llama 70Bのファインチューニングに最適なGPU](https://gpuwithcrypto.com/ja/best-gpu-for/fine-tuning-llama-70b/ "Llama 70Bをファインチューニングするのに最適なGPUはどれですか（LoRA、QLoRA、フル）？")。

### 各ファインチューニング手法にはどのGPUが合いますか？

上記のルールで算出したメモリ → 当社GPUのうち最小の適合品 → 1時間あたりの料金（2026年10月29日）。アクティベーションはこれに加算されます。勾配チェックポイントを使うとアクティベーションを削減できます。

| モデル | フルファインチューニング（16〜18 B/パラメータ） | LoRA（BF16ベース × 1.2） | QLoRA（1Bあたり0.75 GB） |
| --- | --- | --- | --- |
| Llama 3.1 8B | 128～144 GB → 1× B200 · $4.61/時間 | 19.2 GB → 1× RTX 4090 · $0.28/時間 | 6 GB → 1× RTX 4090 · $0.28/時間 |
| Qwen2.5 32B | 520～585 GB → 4× B200 · $18.44/時間 | 78 GB → 1× A100 80GB · $0.92/時間 | 24.4 GB → 1× RTX 5090 · $0.42/時間 |
| Llama 3.1 70B | 1,120～1,260 GB → 8× B200 · $36.88/時間 | 168 GB → 1× B200 · $4.61/時間 | 52.5 GB → 1× A100 80GB · $0.92/時間 |
| Llama 3.1 405B | 6,480～7,290 GB → 8-GPUホスト1台では足りません | 972 GB → 8× H200 · $24.56/時間 | 304 GB → 2× B200 · $9.22/時間 |
| FLUX.1 [dev]（12B） | 192～216 GB → 2× H200 · $6.14/時間 | 28.8 GB → 1× RTX 5090 · $0.42/時間 | 9 GB → 1× RTX 4090 · $0.28/時間 |

*価格確認日：2026年10月29日.*

## GPU数が2、4、8と飛び飛びになるのはなぜですか？

Tensor parallelismは各レイヤーのattention headをGPU全体に均等に分割します。vLLMはhead数がGPU数で割り切れない場合、起動を拒否します。Llama 3.1 70Bはattention headが64個あるため、2、4、8枚のGPUでは動作しますが3枚では動作しません。80 GBのH100を3枚（240 GB）あれば、計算上は168 GBのモデルが載りますが、実用的な構成ではありません。4枚なら実用的です。インスタンスのGPU数はホストにより1〜8基です。開始前に、ダッシュボードに各ホストの国、GPU数、フォームファクター（SXMまたはPCIe）、インターコネクトが表示されます。

## 適切なGPUの1時間あたりのコストはいくらですか？

請求額を最も大きく左右するのは精度の選択です。Llama 3.1 70BはBF16ならB200が1枚必要ですが、4-bitならL40Sが1枚で済みます。GPUwithCryptoによる2026年10月29日の価格調査によると、この2つのGPUのセルフサービス従量課金の最安値は1時間あたり$5.43と$0.97でした。4-bitにすると時間あたりのコストが82%削減されます。当社の価格ではこの2つは$4.61/時間と$0.82/時間です。導入前に、ご自身のプロンプトで4-bitの出力を確認してください。すべてのGPUと時間数のブロックは[料金ページ](https://gpuwithcrypto.com/ja/pricing/ "GPUwithCryptoではクラウドGPUは1時間いくらですか？")に掲載しています。

## VRAMに関する質問

### 70Bモデルを動かすにはどれくらいのVRAMが必要ですか？

FP16/BF16で約168 GB、FP8で84 GB、4-bitで42 GBです（20%のオーバーヘッドルールを含みます）。つまりB200が1枚、H200が1枚、または48 GBのL40Sが1枚です。128Kトークンの会話では、Llama 3.1 70BでBF16のKVキャッシュが42.9 GB追加されます。

### 7BモデルをファインチューニングするにはどれくらいのVRAMが必要ですか？

7Bモデルのフルファインチューニングには、activationを除いて112～126 GB必要です（パラメータあたり16～18バイト）。LoRAは約16.8 GB（7 × 2 × 1.2）、QLoRAは約5.3 GB（7 × 0.75）なので、どちらも24 GBのRTX 4090に収まります。

### LoRAをトレーニングするにはどれくらいのVRAMが必要ですか？

LLMの場合、BF16のベースモデルで10億パラメータあたり約2.4 GB、4-bitのベースモデル（QLoRA）で0.75 GBです。transformerが12BパラメータのFLUX.1 [dev]の場合、LoRAで約28.8 GB（RTX 5090）、QLoRAで9 GBです。

### DeepSeek V4 FlashとV4 ProにはどれくらいのVRAMが必要ですか？

Hugging Faceで公開されている重みは159.6 GB（Flash、284Bパラメータ）と864.7 GB（Pro、1.6T）です。20%のオーバーヘッドを含めると191.5 GBと1,037.6 GBとなり、最低でもH200が2枚とH200が8枚必要です。コマンドは[DeepSeek V4ガイド](https://gpuwithcrypto.com/ja/guides/run-deepseek-v4-on-cloud-gpu/ "クラウドGPUでDeepSeek V4を実行するにはどうすればよいですか？")に掲載しています。

### 70BモデルをRTX 4090 1枚で動かせますか？

VRAMに完全には収まりません。4-bitでも重みは35 GB必要で、24 GBを超えます。レイヤーをシステムRAMにオフロードするツールなら動作しますが、その場合トークンごとにPCIe経由の転送を待つことになります。48 GBのL40S 1枚なら4-bitで収まります。

### GPUを暗号資産で支払えますか？

はい。GPUwithCryptoでは$1へのチャージからBTC, USDT, USDC, ETH, SOL, LTC, XMRで支払えます。本人確認もカードも不要です。インスタンスは稼働中、そのGPU用に購入したGPU時間から時間単価で分単位で課金されます。インスタンスを停止すると課金も即座に停止します。

## 出典

1. [Transformer Math 101](https://blog.eleuther.ai/transformer-math/) — EleutherAI (read 2026-10-29)
2. [Model training anatomy (GPU memory)](https://huggingface.co/docs/transformers/model_memory_anatomy) — Hugging Face (read 2026-10-29)
3. [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685) — arXiv (read 2026-10-29)
4. [QLoRA: Efficient Finetuning of Quantized LLMs](https://arxiv.org/abs/2305.14314) — arXiv (read 2026-10-29)
5. [The Llama 3 Herd of Models（Table 3）](https://arxiv.org/abs/2407.21783) — arXiv (read 2026-10-29)
6. [Llama 3.1 70B モデルカード](https://huggingface.co/meta-llama/Llama-3.1-70B) — Meta / Hugging Face (read 2026-10-29)
7. [Mistral 7Bの公開](https://mistral.ai/news/announcing-mistral-7b) — Mistral AI (read 2026-10-29)
8. [Qwen2.5-32B-Instructモデルカード](https://huggingface.co/Qwen/Qwen2.5-32B-Instruct) — Qwen / Hugging Face (read 2026-10-29)
9. [Qwen2.5-72B-Instructモデルカード](https://huggingface.co/Qwen/Qwen2.5-72B-Instruct) — Qwen / Hugging Face (read 2026-10-29)
10. [gpt-oss-120bモデルカード](https://huggingface.co/openai/gpt-oss-120b) — OpenAI / Hugging Face (read 2026-10-29)
11. [DeepSeek-V3モデルカード](https://huggingface.co/deepseek-ai/DeepSeek-V3) — DeepSeek / Hugging Face (read 2026-10-29)
12. [DeepSeek-V4-Flash モデルカードとファイル](https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash) — DeepSeek / Hugging Face (read 2026-10-29)
13. [DeepSeek-V4-Pro モデルカードとファイル](https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro) — DeepSeek / Hugging Face (read 2026-10-29)
14. [Attention head数はtensor parallel sizeで割り切れる必要があります（discussion #1041）](https://github.com/vllm-project/vllm/discussions/1041) — vLLM project (read 2026-10-29)
15. [NVIDIA H200の仕様](https://www.nvidia.com/en-us/data-center/h200/) — NVIDIA (read 2026-10-29)

---

GPUwithCrypto: GPUwithCryptoはクラウドGPU（NVIDIA H100、H200、B200、A100、L40S、RTX 4090、RTX 5090）を分単位でレンタル、暗号資産で支払い、KYC不要です。各GPUの価格は、2026年10月29日に確認した名指しのオンデマンド料金より少なくとも15%安く設定されています。