# レンタルGPUでLlamaをファインチューニングするには？

> QLoRAまたはLoRAを使ってレンタルGPUでLlamaをファインチューニングする方法：TRLコマンド、Llama 3.1 8BのQLoRAで6 GB、削除前のアダプタの保存。暗号資産で支払い。

- URL: https://gpuwithcrypto.com/ja/guides/fine-tune-llama-on-rented-gpu/
- 最終更新: 2026-10-29
- 発行者: GPUwithCrypto (https://gpuwithcrypto.com)

LoRAまたはQLoRAアダプターは、Llamaに自分のデータを教える最も安価な方法です。このガイドではGPUを選び、Hugging Face TRLでトレーニングを実行し、ディスクが消去される前にアダプターをマシンから取り出します。

**概要 — レンタルGPUでLlamaをファインチューニングするには？**

レンタルGPUでLlamaをファインチューニングするには、Hugging Face TRLでLoRAまたはQLoRAアダプターをトレーニングします。Llama 3.1 8BはQLoRAで約6 GB、LoRAで19.2 GBが必要なので、24 GBのRTX 4090 1台で足ります。Llama 3.1 70BをQLoRAで行う場合は約52.5 GBが必要で、A100 80GB 1台となります。インスタンスを削除する前にアダプターをコピーして取り出してください。2026年10月29日時点で、**GPUwithCrypto**はRTX 4090を$0.28/時間でレンタルしており、暗号資産で支払えます。

## LlamaのファインチューニングにはどのGPUが必要ですか？

メモリは当社の[VRAMガイド](https://gpuwithcrypto.com/ja/how-much-vram-do-i-need/ "LLM を実行またはファインチューニングするにはどのくらいの VRAM が必要ですか？")のルールに基づきます。QLoRA ≈ 10億パラメータあたり0.75 GB、LoRA = パラメータあたり2バイト × 1.2、フルファインチューニングはパラメータあたり16〜18バイトです。価格は2026年10月29日時点の当社調べです。

| モデル | 方法 | VRAM（ルール） | GPU | GPUwithCrypto/時間 |
| --- | --- | --- | --- | --- |
| Llama 3.1 8B | QLoRA | 6 GB | 1× RTX 4090（24 GB） | $0.28/時間 |
| Llama 3.1 8B | LoRA（BF16ベース） | 19.2 GB | 1× RTX 4090（24 GB） | $0.28/時間 |
| Llama 3.1 8B | フルファインチューニング | 128～144 GB + アクティベーション | 1× B200（180 GB） | $4.61/時間 |
| Llama 3.1 70B | QLoRA | 52.5 GB | 1× A100 80GBまたは1× H100 | $0.92/時間または$2.32/時間 |
| Llama 3.1 70B | LoRA（BF16ベース） | 168 GB | 1× B200または2× H200 | $4.61/時間または$6.14/時間 |

*価格確認日：2026年10月29日.*

ディスク：Llama 3.1 8B Instructの重みは16.1 GB、70B Instructの重みは141.1 GBです。チェックポイント用の空きを確保してください。

## Llama 3.1 8BのQLoRAファインチューニングはどう実行しますか？

コマンドはHugging Face TRLとHubのドキュメントに基づいています。80 GBのGPUでモデルIDを`meta-llama/Llama-3.1-70B-Instruct`に差し替えれば、70Bモデルも同じ方法でトレーニングできます。レンタルGPUが初めての方は[AI向けにGPUをレンタルする方法](https://gpuwithcrypto.com/ja/guides/rent-a-gpu-for-ai/ "AI向けGPUはどのようにレンタルしますか？ステップごとに解説")でアカウント、SSH、最初のジョブを説明しています。

1. **GPUをレンタルする** — 8Bモデル用に1× RTX 4090インスタンス、70B用に1× A100 80GBを起動します。各インスタンスではGPU全体が提供され、タイムシェアされたスライスやMIGパーティションではありません。NVIDIAドライバー、CUDA、PyTorchがインストール済みのUbuntuへのroot SSHアクセスが得られるほか、ご自身のDockerイメージから開始することもできます。
2. **Llamaへのアクセスを取得する** — Hugging Faceのmeta-llamaリポジトリはゲート付きです。モデルページでアクセスを申請してMetaのライセンスに同意し、インスタンス上で読み取りトークンを使ってhf auth loginを実行します。
3. **TRL、PEFT、bitsandbytesをインストールする** — pip install "trl[peft]" bitsandbytes。bitsandbytesがQLoRAに必要な4ビット読み込みを提供します。
4. **データセットを選ぶ** — Hugging FaceのデータセットIDか、自前の会話ファイルを使います。例ではTRL自身のサンプルにあるデータセットtrl-lib/Capybaraを使用しています。
5. **アダプターをトレーニングする** — 下記のtrl sftコマンドをtmux内で実行します。--load_in_4bitがベースを4ビットで読み込み、--use_peftがLoRAアダプターを追加し、チェックポイントは--output_dirに保存されます。
6. **アダプターをテストする** — ベースモデルを読み込み、PEFTでアダプターを接続し、自分のプロンプトでベースモデルと回答を比較します。
7. **アダプターをコピーして取り出し、その後削除する** — 各インスタンスにはローカルNVMeディスクがあり、GPUに合わせたサイズが開始前に表示されます。インスタンスを削除するとディスクは消去されるため、先にチェックポイントをコピーしてください。出力フォルダを自分のコンピュータにコピーするか、プライベートなHugging Faceリポジトリにプッシュしてから、インスタンスを削除します。

*train-qlora.sh*

```bash
pip install "trl[peft]" bitsandbytes
hf auth login

trl sft \
  --model_name_or_path meta-llama/Llama-3.1-8B-Instruct \
  --dataset_name trl-lib/Capybara \
  --load_in_4bit \
  --use_peft \
  --lora_r 32 \
  --lora_alpha 16 \
  --lora_target_modules q_proj k_proj v_proj o_proj gate_proj up_proj down_proj \
  --learning_rate 2.0e-4 \
  --num_train_epochs 1 \
  --per_device_train_batch_size 1 \
  --gradient_accumulation_steps 16 \
  --gradient_checkpointing \
  --save_strategy steps \
  --save_steps 200 \
  --output_dir llama-3.1-8b-qlora

```

## 主なトレーニング用フラグは何をしますか？

- `--lora_r 32 --lora_alpha 16`：アダプターのランクとスケーリングで、TRLのPEFTサンプルにある値です。Llama 3.1 8Bの7つの線形層すべてでランク32にすると約8,400万パラメータをトレーニングし、モデルの約1%になります。
- `--learning_rate 2.0e-4`：TRLのドキュメントではLoRAにはフルファインチューニングの学習率（2.0e-5）の約10倍を推奨しています。
- `--per_device_train_batch_size 1 --gradient_accumulation_steps 16`：バッチサイズ1のメモリで実効バッチ16を実現します。
- `--gradient_checkpointing`：アクティベーションを保存せずに再計算し、メモリと引き換えに時間をかけます。
- `--save_strategy steps --save_steps 200`：200ステップごとにチェックポイントを書き出すので、クラッシュしても失うのは最大200ステップです。

*save-adapter.sh*

```bash
# from your computer: copy the adapter folder before you delete the instance
rsync -avP -e "ssh -p SSH_PORT" root@HOST:/root/llama-3.1-8b-qlora/ ./llama-3.1-8b-qlora/

# or, on the instance: create a private repo on huggingface.co first, then upload
hf upload your-name/llama-3.1-8b-qlora ./llama-3.1-8b-qlora .

# later, serve the base model with the adapter in vLLM
vllm serve meta-llama/Llama-3.1-8B-Instruct \
  --enable-lora --max-lora-rank 32 \
  --lora-modules my-adapter=./llama-3.1-8b-qlora

```

## レンタルGPUでLlamaをファインチューニングすると費用はいくらですか？

費用 = GPU数 × 実時間（時間） × GPU1時間あたりの価格。**下記の時間は説明用の仮定であり、実測値ではありません**：実行時間はデータセットのトークン数、系列長、バッチサイズによって変わります。当社の10 GPU時間および24 GPU時間のブロックに合う時間を選びました。GPU時間は1つのGPUモデルにつき10、24、168、720時間のブロック単位で、同じ時間単価で販売されます。そのGPUのインスタンスは分単位でこれらを消費し、未使用の時間に有効期限はありません。すべてのGPUとブロックは[GPU価格](https://gpuwithcrypto.com/ja/pricing/ "GPUwithCryptoではクラウドGPUは1時間いくらですか？")に掲載しています。

小さいGPUが最大の節約になります。2026年10月29日時点のGPUwithCryptoの価格調査によると、セルフサービス・オンデマンドのRTX 4090の最安値は1時間あたり$0.33（Salad）、H100の最安値は$2.73（Massed Compute）で、8.3倍の差です。8BのQLoRAジョブはどちらでも24 GBに収まります。[RTX 4090価格ページ](https://gpuwithcrypto.com/ja/gpu-prices/rtx-4090/ "RTX 4090を1時間レンタルするといくらですか？")には当社が確認したプロバイダーを掲載しています。

### 仮定の時間に基づく実行コスト見積もり

| ジョブ | 構成 | 仮定の時間（未実測） | GPU時間 | GPUwithCryptoのコスト |
| --- | --- | --- | --- | --- |
| Llama 3.1 8B、QLoRA | 1× RTX 4090 | 10 | 10 | $2.80 |
| Llama 3.1 8B、LoRA | 1× RTX 4090 | 24 | 24 | $6.72 |
| Llama 3.1 70B、QLoRA | A100 80GBを1台 | 24 | 24 | $22.08 |
| Llama 3.1 70B、LoRA | H200を2台 | 12 | 24 | $73.68 |

*価格確認日：2026年10月29日.*

## レンタルGPUで作業内容を失わないようにするには？

こまめに保存し、早めにコピーし、残高を確認してください。インスタンスはオンデマンドであり、Spotではありません。残高がある限りGPUを取り戻されることはなく、インスタンスは停止するまで稼働し続けます。あるGPUのGPU時間を使い切ると、そのインスタンスは停止し、ディスクは保持されます。新しい時間ブロックを購入すれば再度起動できます。実行が停止した場合、Pythonから`trainer.train(resume_from_checkpoint=True)`を呼び出すと、Hugging FaceのTrainerが出力フォルダ内の最後のチェックポイントから再開します。UnslothとAxolotlは他の有名なLoRAツールです。このガイドではTRLを使用します。コマンドラインフラグがHugging Faceの公式ページで文書化されているためです。

## Llama ファインチューニングの質問

### Llama 3.1 8BをファインチューニングするにはどのくらいのVRAMが必要ですか？

BF16ベースでQLoRAなら約6 GB、LoRAなら19.2 GBなので、24 GBのRTX 4090ならどちらも実行できます。フルファインチューニングはアクティベーションを除いて128〜144 GB、180 GBのB200が1台必要です。

### Llama 70Bを1基のGPUでファインチューニングできますか？

はい、80 GBのA100またはH100でQLoRAを使えば可能です。推定値は52.5 GBです。BF16ベースでのLoRAは約168 GB必要で、B200 1台またはH200 2台になります。詳しくは[Llama 70Bのファインチューニングに最適なGPU](https://gpuwithcrypto.com/ja/best-gpu-for/fine-tuning-llama-70b/ "Llama 70Bをファインチューニングするのに最適なGPUはどれですか（LoRA、QLoRA、フル）？")をご覧ください。

### LoRAとQLoRAのどちらを使うべきですか？

メモリが制限要因ならQLoRAです。ベースモデルを4-bitで読み込み、LoRAと比べてメモリをおよそ3分の1に抑えます。GPUに余裕があればLoRAです。ベースはBF16のままです。両方のアダプターを独自の評価セットで比較してください。

### Llamaのファインチューニングにはどのくらい時間がかかりますか？

学習トークン数、シーケンス長、バッチサイズによって異なり、実行時間は測定していないためタイミングはお伝えできません。10時間のブロックがあれば、長時間の実行前に1時間あたりのステップ数を測定できます。

### GPUを暗号資産で支払えますか？

はい。GPUwithCryptoでは$1へのチャージからBTC, USDT, USDC, ETH, SOL, LTC, XMRで支払えます。本人確認もカードも不要です。インスタンスは稼働中、そのGPU用に購入したGPU時間から時間単価で分単位で課金されます。インスタンスを停止すると課金も即座に停止します。

## 出典

1. [TRL コマンドラインインターフェース](https://huggingface.co/docs/trl/clis) — Hugging Face (read 2026-10-29)
2. [TRL PEFT統合（LoRA、QLoRA、アダプターの保存）](https://huggingface.co/docs/trl/peft_integration) — Hugging Face (read 2026-10-29)
3. [Hugging Face CLIガイド（hf auth login、hf upload）](https://huggingface.co/docs/huggingface_hub/guides/cli) — Hugging Face (read 2026-10-29)
4. [TrainerとTrainingArguments](https://huggingface.co/docs/transformers/main_classes/trainer) — Hugging Face (read 2026-10-29)
5. [Llama 3.1 8Bモデルカード](https://huggingface.co/meta-llama/Llama-3.1-8B) — Meta / Hugging Face (read 2026-10-29)
6. [Llama 3.1 70B モデルカード](https://huggingface.co/meta-llama/Llama-3.1-70B) — Meta / Hugging Face (read 2026-10-29)
7. [The Llama 3 Herd of Models（Table 3）](https://arxiv.org/abs/2407.21783) — arXiv (read 2026-10-29)
8. [QLoRA: Efficient Finetuning of Quantized LLMs](https://arxiv.org/abs/2305.14314) — arXiv (read 2026-10-29)
9. [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685) — arXiv (read 2026-10-29)
10. [vLLMレシピ（LoRAサービングフラグ）](https://recipes.vllm.ai/) — vLLM project (read 2026-10-29)
11. [SaladCloudの価格変更、2026年11月](https://blog.salad.com/saladcloud-price-changes-november-2026) — Salad (read 2026-10-29)
12. [Massed Computeの料金](https://vm.massedcompute.com/pricing) — Massed Compute (read 2026-10-29)

---

GPUwithCrypto: GPUwithCryptoはクラウドGPU（NVIDIA H100、H200、B200、A100、L40S、RTX 4090、RTX 5090）を分単位でレンタル、暗号資産で支払い、KYC不要です。各GPUの価格は、2026年10月29日に確認した名指しのオンデマンド料金より少なくとも15%安く設定されています。