概要
Llama 70Bをファインチューニングするのに最適なGPUはどれですか？
Llama 70Bをファインチューニングするのに最適なGPUは手法によって変わります。QLoRAは約52.5 GB必要なので、80 GBのA100またはH100を1台。BF16ベースのLoRAは約168 GB必要なので、180 GBのB200を1台またはH200を2台。フルファインチューニングはアクティベーションを除いて1,120〜1,260 GB必要なので、B200を8台。2026年10月29日時点で、GPUwithCryptoはA100 80GBを$0.92/時間でレンタルしており、暗号資産で支払えます。
手法ごとにどのGPUを使うか？
| QLoRA（4ビットベース） | ≈ 52.5 GB → A100 80GBを1台（$0.92/時間）またはH100を1台（$2.32/時間） |
|---|---|
| LoRA（BF16ベース） | 下限140 GB、計画値は約168 GB → B200を1台（$4.61/時間）またはH200を2台（$6.14/時間） |
| フルファインチューニング、8ビットAdam | ≈ 840 GB → H200を8台（$24.56/時間） |
| フルファインチューニング、AdamW | 1,120〜1,260 GB → B200を8台（$36.88/時間） |
| 小さすぎる | L40Sを1台では52.5 GBというQLoRAの見積もりに届きませんが、QLoRAの著者らは65Bモデルを48 GBのGPU1台に収めています |
70Bモデルでは手法ごとにどれだけのメモリが必要ですか？
- QLoRA： ベースモデルは4ビットで読み込まれ凍結され、小さなアダプタのみを学習します。QLoRAの論文では65Bモデルを48 GBのGPU1台でファインチューニングしており、48 ÷ 65 = 10億パラメータあたり0.74 GB、四捨五入して0.75。70Bでは70 × 0.75 = 52.5 GBです。
- LoRA： ベースはBF16のまま凍結されます：70 × 2バイト = 140 GB。アダプタとそのオプティマイザで約1%が加わり、当社の20%の計画マージンを加えると140 × 1.2 = 168 GBです。
- フルファインチューニング、AdamWによる混合精度： EleutherAIはパラメータあたり2 + 12 + 2 = 16バイト（重み、FP32コピー付きオプティマイザ、勾配）と数えます：70 × 16 = 1,120 GB。Hugging Faceは6 + 8 + 4 = 18バイトと数えます：1,260 GB。これにアクティベーションが加わります。
- 8ビットAdamによるフルファインチューニング： Hugging Faceは8ビットオプティマイザの状態を8バイトではなく2バイトとするため、6 + 2 + 4 = 12バイト：70 × 12 = 840 GBです。
これらは引用元に基づく計画用の計算ルールであり、実測値ではありません。シーケンス長とバッチサイズでアクティベーションメモリは変わり、gradient checkpointingで削減できます。他のモデルサイズに対する同じルール：VRAMはどれくらい必要ですか？
手法ごとにGPUは何台必要ですか？
✓ = その構成の合計VRAMが手法の見積もりを満たすことを示します。複数GPUの行は、モデルがGPU間にシャーディングされる（FSDPまたはDeepSpeed ZeRO-3）ことを前提としています。価格は構成全体の1時間あたりの当社価格、2026年10月29日時点。
| 構成 | 合計VRAM | QLoRA（52.5 GB） | LoRA（168 GB） | フル、8ビットAdam（840 GB） | フル、AdamW（1,260 GB） | GPUwithCrypto/時間 |
|---|---|---|---|---|---|---|
| L40Sを1台 | 48 GB | ✗ | ✗ | ✗ | ✗ | $0.82/時間 |
| A100 80GBを1台 | 80 GB | ✓ | ✗ | ✗ | ✗ | $0.92/時間 |
| H100を1台 | 80 GB | ✓ | ✗ | ✗ | ✗ | $2.32/時間 |
| H200を1台 | 141 GB | ✓ | ✗ | ✗ | ✗ | $3.07/時間 |
| B200を1台 | 180 GB | ✓ | ✓ | ✗ | ✗ | $4.61/時間 |
| H200を2台 | 282 GB | ✓ | ✓ | ✗ | ✗ | $6.14/時間 |
| A100 80GBを4台 | 320 GB | ✓ | ✓ | ✗ | ✗ | $3.68/時間 |
| 8× H100 | 640 GB | ✓ | ✓ | ✗ | ✗ | $18.56/時間 |
| 8× H200 | 1,128 GB | ✓ | ✓ | ✓ | ✗ | $24.56/時間 |
| 8× B200 | 1,440 GB | ✓ | ✓ | ✓ | ✓ | $36.88/時間 |
価格確認日：
8× H200は16バイト見積もり（1,120 GB）を計算上は収まりますが、活性化用に8 GBしか残らないため、AdamWでは✗としています。8× B200は18バイト見積もりの後でも180 GB残ります。インスタンスのGPU数はホストにより1〜8基です。開始前に、ダッシュボードに各ホストの国、GPU数、フォームファクター（SXMまたはPCIe）、インターコネクトが表示されます。
Llama 70Bのファインチューニング1回のコストはいくらですか？
コスト = GPU数 × 実時間（時間） × GPU1時間あたりの価格。以下の時間は説明用に選んだ仮定であり、実測値ではありません: 実行時間は学習トークン数、系列長、バッチサイズ、ソフトウェアによって変わります。長時間の実行を見積もる前に、短い実行で1時間あたりのステップ数を実測してください。仮定の時間は、当社の10・24・168 GPU時間のブロックに対応しています。GPU時間は1つのGPUモデルにつき10、24、168、720時間のブロック単位で、同じ時間単価で販売されます。そのGPUのインスタンスは分単位でこれらを消費し、未使用の時間に有効期限はありません。すべてのブロックとGPUはGPU料金に掲載しています。
仮定の時間に基づく実行コスト見積もり
| 方法 | 構成 | 仮定の時間（未実測） | GPU時間 | GPUwithCryptoのコスト |
|---|---|---|---|---|
| QLoRA | A100 80GBを1台 | 10 | 10 | $9.20 |
| QLoRA | H100を1台 | 10 | 10 | $23.20 |
| LoRA | B200を1台 | 24 | 24 | $110.64 |
| LoRA | H200を2台 | 12 | 24 | $73.68 |
| フル、8-bit Adam | 8× H200 | 21 | 168 | $515.76 |
| フル、AdamW | 8× B200 | 21 | 168 | $774.48 |
価格確認日：
フルファインチューニングはQLoRAよりどのくらい高くつきますか？
ハードウェア1時間あたりで約40倍です。GPUwithCryptoの2026年10月29日の価格調査によると、8× B200インスタンスのセルフサービス・オンデマンドの最安価格は1時間43.46ドルでした（Massed Compute、GPU1基あたり5.4325ドル）。A100 80GB 1基はThunder Computeで1時間1.09ドルでした。当社の価格でも比率は同じで、$36.88/時間に対して$0.92/時間です。
この差があるため、ほとんどの70BプロジェクトはQLoRAまたはLoRAから始めます。LoRAの論文では、試験したタスクにおいて、学習可能パラメータを10,000分の1に抑えつつフルファインチューニングと同等の結果が報告されています。
70BのQLoRAにはH100とA100のどちらが適していますか？
どちらも52.5 GBの見積もりを80 GBに収められます。H100はA100のピークBF16 Tensorスループットの3.2倍（密で989.5対312 TFLOPS）、帯域幅は3,350 GB/s（SXM）対2,039 GB/sです。これらはNVIDIAのピーク値であり、実際の学習速度はソフトウェアによって変わります。当社の価格ではA100が$0.92/時間、H100が$2.32/時間です。予算が固定ならA100、締め切りを優先するならH100を選んでください。詳細: H100 vs A100。
各手法はどのソフトウェアで実行しますか？
Hugging Face TRLはQLoRAとLoRAを1つのコマンドで実行します: QLoRAには--load_in_4bit --use_peft、LoRAには--use_peftのみです。マルチGPUのLoRAとフルファインチューニングでは、TRLにfsdp2やzero3（DeepSpeed ZeRO-3）などのAccelerateプロファイルが用意されており、--accelerate_configで渡します。Hugging FaceのLlama 3.1リポジトリはゲート付きです: まずモデルページでMetaのライセンスに同意してください。手順ごとのコマンド: レンタルGPUでLlamaをファインチューニング。
Llama 70Bファインチューニングのよくある質問
Llama 70Bを1基のGPUでファインチューニングできますか？
はい、80 GBのGPUでQLoRAを使えば可能です: 見積もりは52.5 GBです。BF16ベースのLoRAも1基のGPUに収まりますが、180 GBのB200のみです。フルファインチューニングには8-bitオプティマイザを使った8× B200または8× H200が必要です。
Llama 70BをRTX 4090でファインチューニングできますか？
いいえ。4-bitでも70Bの重みだけで35 GBを占め、RTX 4090の24 GBを超えます。当社でレンタルできるGPUのうち、QLoRAの実行を収められる最小のものは80 GBのA100です。
LoRAでLlama 70BをファインチューニングするにはどのくらいのVRAMが必要ですか？
凍結したBF16の重みに約140 GB、アダプタと活性化用に20%の余裕を見て約168 GBです。B200 1基（180 GB）、H200 2基（282 GB）、または80 GBのGPU 4基で収まります。
Llama 70Bのファインチューニングにはどのくらい時間がかかりますか？
データセットのトークン数、系列長、バッチサイズによって変わり、当社では実行を実測していないため、所要時間は公開していません。まず10時間のブロックで始め、ご自身のデータで1時間あたりのステップ数を実測してから、全体の実行を見積もってください。
GPUを暗号資産で支払えますか？
はい。GPUwithCryptoでは$25のチャージからBTC, USDT, USDC, ETH, SOL, LTCで支払え、身分証明もカードも不要です。未使用のGPU時間は失効しません。
出典 (12)
- QLoRA: Efficient Finetuning of Quantized LLMs — arXiv (read 2026-10-29)
- Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA — Hugging Face (read 2026-10-29)
- LoRA: Low-Rank Adaptation of Large Language Models — arXiv (read 2026-10-29)
- Transformer Math 101 — EleutherAI (read 2026-10-29)
- Model training anatomy (GPU memory) — Hugging Face (read 2026-10-29)
- Llama 3.1 70B モデルカード — Meta / Hugging Face (read 2026-10-29)
- TRL コマンドラインインターフェース — Hugging Face (read 2026-10-29)
- TRL PEFT 統合 — Hugging Face (read 2026-10-29)
- NVIDIA A100 仕様 — NVIDIA (read 2026-10-29)
- NVIDIA H100 仕様 — NVIDIA (read 2026-10-29)
- Massed Computeの料金 vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)
- Thunder Computeの料金 thundercompute.com/pricing — Thunder Compute (read 2026-10-29)