# Llama 70Bをファインチューニングするのに最適なGPUはどれですか（LoRA、QLoRA、フル）？

> Llama 70Bをファインチューニングするのに最適なGPU：QLoRA（52.5 GB）なら80 GBのA100またはH100を1台、LoRA（168 GB）ならB200を1台、フルならB200を8台。メモリ計算と暗号資産価格。

- URL: https://gpuwithcrypto.com/ja/best-gpu-for/fine-tuning-llama-70b/
- 最終更新: 2026-10-29
- 発行者: GPUwithCrypto (https://gpuwithcrypto.com)

手法がGPUを決めます。ここでは70Bモデルで各手法に必要なメモリ、それを満たすGPUの台数、そして明確に示した前提のもとでの実行コストを紹介します。

**概要 — Llama 70Bをファインチューニングするのに最適なGPUはどれですか？**

Llama 70Bをファインチューニングするのに最適なGPUは手法によって変わります。QLoRAは約52.5 GB必要なので、80 GBのA100またはH100を1台。BF16ベースのLoRAは約168 GB必要なので、180 GBのB200を1台またはH200を2台。フルファインチューニングはアクティベーションを除いて1,120〜1,260 GB必要なので、B200を8台。2026年10月29日時点で、**GPUwithCrypto**はA100 80GBを$0.92/時間でレンタルしており、暗号資産で支払えます。

## 手法ごとにどのGPUを使うか？

| 項目 | 値 |
| --- | --- |
| QLoRA（4ビットベース） | ≈ 52.5 GB → A100 80GBを1台（$0.92/時間）またはH100を1台（$2.32/時間） |
| LoRA（BF16ベース） | 下限140 GB、計画値は約168 GB → B200を1台（$4.61/時間）またはH200を2台（$6.14/時間） |
| フルファインチューニング、8ビットAdam | ≈ 840 GB → H200を8台（$24.56/時間） |
| フルファインチューニング、AdamW | 1,120〜1,260 GB → B200を8台（$36.88/時間） |
| 小さすぎる | L40Sを1台では52.5 GBというQLoRAの見積もりに届きませんが、QLoRAの著者らは65Bモデルを48 GBのGPU1台に収めています |

## 70Bモデルでは手法ごとにどれだけのメモリが必要ですか？

- **QLoRA：** ベースモデルは4ビットで読み込まれ凍結され、小さなアダプタのみを学習します。QLoRAの論文では65Bモデルを48 GBのGPU1台でファインチューニングしており、48 ÷ 65 = 10億パラメータあたり0.74 GB、四捨五入して0.75。70Bでは70 × 0.75 = **52.5 GB**です。
- **LoRA：** ベースはBF16のまま凍結されます：70 × 2バイト = **140 GB**。アダプタとそのオプティマイザで約1%が加わり、当社の20%の計画マージンを加えると140 × 1.2 = **168 GB**です。
- **フルファインチューニング、AdamWによる混合精度：** EleutherAIはパラメータあたり2 + 12 + 2 = 16バイト（重み、FP32コピー付きオプティマイザ、勾配）と数えます：70 × 16 = **1,120 GB**。Hugging Faceは6 + 8 + 4 = 18バイトと数えます：**1,260 GB**。これにアクティベーションが加わります。
- **8ビットAdamによるフルファインチューニング：** Hugging Faceは8ビットオプティマイザの状態を8バイトではなく2バイトとするため、6 + 2 + 4 = 12バイト：70 × 12 = **840 GB**です。

これらは引用元に基づく計画用の計算ルールであり、実測値ではありません。シーケンス長とバッチサイズでアクティベーションメモリは変わり、gradient checkpointingで削減できます。他のモデルサイズに対する同じルール：[VRAMはどれくらい必要ですか？](https://gpuwithcrypto.com/ja/how-much-vram-do-i-need/ "LLM を実行またはファインチューニングするにはどのくらいの VRAM が必要ですか？")

## 手法ごとにGPUは何台必要ですか？

✓ = その構成の合計VRAMが手法の見積もりを満たすことを示します。複数GPUの行は、モデルがGPU間にシャーディングされる（FSDPまたはDeepSpeed ZeRO-3）ことを前提としています。価格は構成全体の1時間あたりの当社価格、2026年10月29日時点。

| 構成 | 合計VRAM | QLoRA（52.5 GB） | LoRA（168 GB） | フル、8ビットAdam（840 GB） | フル、AdamW（1,260 GB） | GPUwithCrypto/時間 |
| --- | --- | --- | --- | --- | --- | --- |
| L40Sを1台 | 48 GB | いいえ | いいえ | いいえ | いいえ | $0.82/時間 |
| A100 80GBを1台 | 80 GB | はい | いいえ | いいえ | いいえ | $0.92/時間 |
| H100を1台 | 80 GB | はい | いいえ | いいえ | いいえ | $2.32/時間 |
| H200を1台 | 141 GB | はい | いいえ | いいえ | いいえ | $3.07/時間 |
| B200を1台 | 180 GB | はい | はい | いいえ | いいえ | $4.61/時間 |
| H200を2台 | 282 GB | はい | はい | いいえ | いいえ | $6.14/時間 |
| A100 80GBを4台 | 320 GB | はい | はい | いいえ | いいえ | $3.68/時間 |
| 8× H100 | 640 GB | はい | はい | いいえ | いいえ | $18.56/時間 |
| 8× H200 | 1,128 GB | はい | はい | はい | いいえ | $24.56/時間 |
| 8× B200 | 1,440 GB | はい | はい | はい | はい | $36.88/時間 |

*価格確認日：2026年10月29日.*

8× H200は16バイト見積もり（1,120 GB）を計算上は収まりますが、活性化用に8 GBしか残らないため、AdamWでは✗としています。8× B200は18バイト見積もりの後でも180 GB残ります。インスタンスのGPU数はホストにより1〜8基です。開始前に、ダッシュボードに各ホストの国、GPU数、フォームファクター（SXMまたはPCIe）、インターコネクトが表示されます。

## Llama 70Bのファインチューニング1回のコストはいくらですか？

コスト = GPU数 × 実時間（時間） × GPU1時間あたりの価格。**以下の時間は説明用に選んだ仮定であり、実測値ではありません:** 実行時間は学習トークン数、系列長、バッチサイズ、ソフトウェアによって変わります。長時間の実行を見積もる前に、短い実行で1時間あたりのステップ数を実測してください。仮定の時間は、当社の10・24・168 GPU時間のブロックに対応しています。GPU時間は1つのGPUモデルにつき10、24、168、720時間のブロック単位で、同じ時間単価で販売されます。そのGPUのインスタンスは分単位でこれらを消費し、未使用の時間に有効期限はありません。すべてのブロックとGPUは[GPU料金](https://gpuwithcrypto.com/ja/pricing/ "GPUwithCryptoではクラウドGPUは1時間いくらですか？")に掲載しています。

### 仮定の時間に基づく実行コスト見積もり

| 方法 | 構成 | 仮定の時間（未実測） | GPU時間 | GPUwithCryptoのコスト |
| --- | --- | --- | --- | --- |
| QLoRA | A100 80GBを1台 | 10 | 10 | $9.20 |
| QLoRA | H100を1台 | 10 | 10 | $23.20 |
| LoRA | B200を1台 | 24 | 24 | $110.64 |
| LoRA | H200を2台 | 12 | 24 | $73.68 |
| フル、8-bit Adam | 8× H200 | 21 | 168 | $515.76 |
| フル、AdamW | 8× B200 | 21 | 168 | $774.48 |

*価格確認日：2026年10月29日.*

## フルファインチューニングはQLoRAよりどのくらい高くつきますか？

ハードウェア1時間あたりで約40倍です。GPUwithCryptoの2026年10月29日の価格調査によると、8× B200インスタンスのセルフサービス・オンデマンドの最安価格は1時間43.46ドルでした（Massed Compute、GPU1基あたり5.4325ドル）。A100 80GB 1基はThunder Computeで1時間1.09ドルでした。当社の価格でも比率は同じで、$36.88/時間に対して$0.92/時間です。

この差があるため、ほとんどの70BプロジェクトはQLoRAまたはLoRAから始めます。LoRAの論文では、試験したタスクにおいて、学習可能パラメータを10,000分の1に抑えつつフルファインチューニングと同等の結果が報告されています。

## 70BのQLoRAにはH100とA100のどちらが適していますか？

どちらも52.5 GBの見積もりを80 GBに収められます。H100はA100のピークBF16 Tensorスループットの3.2倍（密で989.5対312 TFLOPS）、帯域幅は3,350 GB/s（SXM）対2,039 GB/sです。これらはNVIDIAのピーク値であり、実際の学習速度はソフトウェアによって変わります。当社の価格ではA100が$0.92/時間、H100が$2.32/時間です。予算が固定ならA100、締め切りを優先するならH100を選んでください。詳細: [H100 vs A100](https://gpuwithcrypto.com/ja/compare/h100-vs-a100/ "H100 vs A100：どちらをレンタルすべきか？")。

## 各手法はどのソフトウェアで実行しますか？

Hugging Face TRLはQLoRAとLoRAを1つのコマンドで実行します: QLoRAには`--load_in_4bit --use_peft`、LoRAには`--use_peft`のみです。マルチGPUのLoRAとフルファインチューニングでは、TRLに`fsdp2`や`zero3`（DeepSpeed ZeRO-3）などのAccelerateプロファイルが用意されており、`--accelerate_config`で渡します。Hugging FaceのLlama 3.1リポジトリはゲート付きです: まずモデルページでMetaのライセンスに同意してください。手順ごとのコマンド: [レンタルGPUでLlamaをファインチューニング](https://gpuwithcrypto.com/ja/guides/fine-tune-llama-on-rented-gpu/ "レンタルGPUでLlamaをファインチューニングするには？")。

## Llama 70Bファインチューニングのよくある質問

### Llama 70Bを1基のGPUでファインチューニングできますか？

はい、80 GBのGPUでQLoRAを使えば可能です: 見積もりは52.5 GBです。BF16ベースのLoRAも1基のGPUに収まりますが、180 GBのB200のみです。フルファインチューニングには8-bitオプティマイザを使った8× B200または8× H200が必要です。

### Llama 70BをRTX 4090でファインチューニングできますか？

いいえ。4-bitでも70Bの重みだけで35 GBを占め、RTX 4090の24 GBを超えます。当社でレンタルできるGPUのうち、QLoRAの実行を収められる最小のものは80 GBのA100です。

### LoRAでLlama 70BをファインチューニングするにはどのくらいのVRAMが必要ですか？

凍結したBF16の重みに約140 GB、アダプタと活性化用に20%の余裕を見て約168 GBです。B200 1基（180 GB）、H200 2基（282 GB）、または80 GBのGPU 4基で収まります。

### Llama 70Bのファインチューニングにはどのくらい時間がかかりますか？

データセットのトークン数、系列長、バッチサイズによって変わり、当社では実行を実測していないため、所要時間は公開していません。まず10時間のブロックで始め、ご自身のデータで1時間あたりのステップ数を実測してから、全体の実行を見積もってください。

### GPUを暗号資産で支払えますか？

はい。GPUwithCryptoでは$1のチャージからBTC, USDT, USDC, ETH, SOL, LTC, XMRで支払え、身分証明もカードも不要です。未使用のGPU時間は失効しません。

## 出典

1. [QLoRA: Efficient Finetuning of Quantized LLMs](https://arxiv.org/abs/2305.14314) — arXiv (read 2026-10-29)
2. [Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA](https://huggingface.co/blog/4bit-transformers-bitsandbytes) — Hugging Face (read 2026-10-29)
3. [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685) — arXiv (read 2026-10-29)
4. [Transformer Math 101](https://blog.eleuther.ai/transformer-math/) — EleutherAI (read 2026-10-29)
5. [Model training anatomy (GPU memory)](https://huggingface.co/docs/transformers/model_memory_anatomy) — Hugging Face (read 2026-10-29)
6. [Llama 3.1 70B モデルカード](https://huggingface.co/meta-llama/Llama-3.1-70B) — Meta / Hugging Face (read 2026-10-29)
7. [TRL コマンドラインインターフェース](https://huggingface.co/docs/trl/clis) — Hugging Face (read 2026-10-29)
8. [TRL PEFT 統合](https://huggingface.co/docs/trl/peft_integration) — Hugging Face (read 2026-10-29)
9. [NVIDIA A100 仕様](https://www.nvidia.com/en-us/data-center/a100/) — NVIDIA (read 2026-10-29)
10. [NVIDIA H100 仕様](https://www.nvidia.com/en-us/data-center/h100/) — NVIDIA (read 2026-10-29)
11. [Massed Computeの料金](https://vm.massedcompute.com/pricing) — Massed Compute (read 2026-10-29)
12. [Thunder Computeの料金](https://www.thundercompute.com/pricing) — Thunder Compute (read 2026-10-29)

---

GPUwithCrypto: GPUwithCryptoはクラウドGPU（NVIDIA H100、H200、B200、A100、L40S、RTX 4090、RTX 5090）を分単位でレンタル、暗号資産で支払い、KYC不要です。各GPUの価格は、2026年10月29日に確認した名指しのオンデマンド料金より少なくとも15%安く設定されています。