KYC不要 · 身分証もカードも不要。暗号資産で支払い：BTC, USDT, USDC, ETH, SOL, LTC
言語: 日本語
GPUをレンタル

ガイド · Hugging Face TRLのコマンドは公式ドキュメントで確認済み · 価格は2026年10月29日時点

レンタルGPUでLlamaをファインチューニングするには？

LoRAまたはQLoRAアダプターは、Llamaに自分のデータを教える最も安価な方法です。このガイドではGPUを選び、Hugging Face TRLでトレーニングを実行し、ディスクが消去される前にアダプターをマシンから取り出します。

最終更新:

概要

レンタルGPUでLlamaをファインチューニングするには？

レンタルGPUでLlamaをファインチューニングするには、Hugging Face TRLでLoRAまたはQLoRAアダプターをトレーニングします。Llama 3.1 8BはQLoRAで約6 GB、LoRAで19.2 GBが必要なので、24 GBのRTX 4090 1台で足ります。Llama 3.1 70BをQLoRAで行う場合は約52.5 GBが必要で、A100 80GB 1台となります。インスタンスを削除する前にアダプターをコピーして取り出してください。2026年10月29日時点で、GPUwithCryptoはRTX 4090を$0.28/時間でレンタルしており、暗号資産で支払えます。

LlamaのファインチューニングにはどのGPUが必要ですか？

メモリは当社のVRAMガイドのルールに基づきます。QLoRA ≈ 10億パラメータあたり0.75 GB、LoRA = パラメータあたり2バイト × 1.2、フルファインチューニングはパラメータあたり16〜18バイトです。価格は2026年10月29日時点の当社調べです。

モデル方法VRAM（ルール）GPUGPUwithCrypto/時間
Llama 3.1 8BQLoRA6 GB1× RTX 4090（24 GB）$0.28/時間
Llama 3.1 8BLoRA（BF16ベース）19.2 GB1× RTX 4090（24 GB）$0.28/時間
Llama 3.1 8Bフルファインチューニング128～144 GB + アクティベーション1× B200（180 GB）$4.61/時間
Llama 3.1 70BQLoRA52.5 GB1× A100 80GBまたは1× H100$0.92/時間または$2.32/時間
Llama 3.1 70BLoRA（BF16ベース）168 GB1× B200または2× H200$4.61/時間または$6.14/時間

価格確認日：

ディスク：Llama 3.1 8B Instructの重みは16.1 GB、70B Instructの重みは141.1 GBです。チェックポイント用の空きを確保してください。

Llama 3.1 8BのQLoRAファインチューニングはどう実行しますか？

コマンドはHugging Face TRLとHubのドキュメントに基づいています。80 GBのGPUでモデルIDをmeta-llama/Llama-3.1-70B-Instructに差し替えれば、70Bモデルも同じ方法でトレーニングできます。レンタルGPUが初めての方はAI向けにGPUをレンタルする方法でアカウント、SSH、最初のジョブを説明しています。

  1. GPUをレンタルする

    8Bモデル用に1× RTX 4090インスタンス、70B用に1× A100 80GBを起動します。各インスタンスではGPU全体が提供され、タイムシェアされたスライスやMIGパーティションではありません。NVIDIAドライバー、CUDA、PyTorchがインストール済みのUbuntuへのroot SSHアクセスが得られるほか、ご自身のDockerイメージから開始することもできます。

  2. Llamaへのアクセスを取得する

    Hugging Faceのmeta-llamaリポジトリはゲート付きです。モデルページでアクセスを申請してMetaのライセンスに同意し、インスタンス上で読み取りトークンを使ってhf auth loginを実行します。

  3. TRL、PEFT、bitsandbytesをインストールする

    pip install "trl[peft]" bitsandbytes。bitsandbytesがQLoRAに必要な4ビット読み込みを提供します。

  4. データセットを選ぶ

    Hugging FaceのデータセットIDか、自前の会話ファイルを使います。例ではTRL自身のサンプルにあるデータセットtrl-lib/Capybaraを使用しています。

  5. アダプターをトレーニングする

    下記のtrl sftコマンドをtmux内で実行します。--load_in_4bitがベースを4ビットで読み込み、--use_peftがLoRAアダプターを追加し、チェックポイントは--output_dirに保存されます。

  6. アダプターをテストする

    ベースモデルを読み込み、PEFTでアダプターを接続し、自分のプロンプトでベースモデルと回答を比較します。

  7. アダプターをコピーして取り出し、その後削除する

    各インスタンスにはローカルNVMeディスクがあり、GPUに合わせたサイズが開始前に表示されます。インスタンスを削除するとディスクは消去されるため、先にチェックポイントをコピーしてください。出力フォルダを自分のコンピュータにコピーするか、プライベートなHugging Faceリポジトリにプッシュしてから、インスタンスを削除します。

train-qlora.sh
pip install "trl[peft]" bitsandbytes
hf auth login

trl sft \
  --model_name_or_path meta-llama/Llama-3.1-8B-Instruct \
  --dataset_name trl-lib/Capybara \
  --load_in_4bit \
  --use_peft \
  --lora_r 32 \
  --lora_alpha 16 \
  --lora_target_modules q_proj k_proj v_proj o_proj gate_proj up_proj down_proj \
  --learning_rate 2.0e-4 \
  --num_train_epochs 1 \
  --per_device_train_batch_size 1 \
  --gradient_accumulation_steps 16 \
  --gradient_checkpointing \
  --save_strategy steps \
  --save_steps 200 \
  --output_dir llama-3.1-8b-qlora

主なトレーニング用フラグは何をしますか？

  • --lora_r 32 --lora_alpha 16：アダプターのランクとスケーリングで、TRLのPEFTサンプルにある値です。Llama 3.1 8Bの7つの線形層すべてでランク32にすると約8,400万パラメータをトレーニングし、モデルの約1%になります。
  • --learning_rate 2.0e-4：TRLのドキュメントではLoRAにはフルファインチューニングの学習率（2.0e-5）の約10倍を推奨しています。
  • --per_device_train_batch_size 1 --gradient_accumulation_steps 16：バッチサイズ1のメモリで実効バッチ16を実現します。
  • --gradient_checkpointing：アクティベーションを保存せずに再計算し、メモリと引き換えに時間をかけます。
  • --save_strategy steps --save_steps 200：200ステップごとにチェックポイントを書き出すので、クラッシュしても失うのは最大200ステップです。
save-adapter.sh
# from your computer: copy the adapter folder before you delete the instance
rsync -avP -e "ssh -p SSH_PORT" root@HOST:/root/llama-3.1-8b-qlora/ ./llama-3.1-8b-qlora/

# or, on the instance: create a private repo on huggingface.co first, then upload
hf upload your-name/llama-3.1-8b-qlora ./llama-3.1-8b-qlora .

# later, serve the base model with the adapter in vLLM
vllm serve meta-llama/Llama-3.1-8B-Instruct \
  --enable-lora --max-lora-rank 32 \
  --lora-modules my-adapter=./llama-3.1-8b-qlora

レンタルGPUでLlamaをファインチューニングすると費用はいくらですか？

費用 = GPU数 × 実時間（時間） × GPU1時間あたりの価格。下記の時間は説明用の仮定であり、実測値ではありません：実行時間はデータセットのトークン数、系列長、バッチサイズによって変わります。当社の10 GPU時間および24 GPU時間のブロックに合う時間を選びました。GPU時間は1つのGPUモデルにつき10、24、168、720時間のブロック単位で、同じ時間単価で販売されます。そのGPUのインスタンスは分単位でこれらを消費し、未使用の時間に有効期限はありません。すべてのGPUとブロックはGPU価格に掲載しています。

小さいGPUが最大の節約になります。2026年10月29日時点のGPUwithCryptoの価格調査によると、セルフサービス・オンデマンドのRTX 4090の最安値は1時間あたり$0.33（Salad）、H100の最安値は$2.73（Massed Compute）で、8.3倍の差です。8BのQLoRAジョブはどちらでも24 GBに収まります。RTX 4090価格ページには当社が確認したプロバイダーを掲載しています。

仮定の時間に基づく実行コスト見積もり

ジョブ構成仮定の時間（未実測）GPU時間GPUwithCryptoのコスト
Llama 3.1 8B、QLoRA1× RTX 40901010$2.80
Llama 3.1 8B、LoRA1× RTX 40902424$6.72
Llama 3.1 70B、QLoRAA100 80GBを1台2424$22.08
Llama 3.1 70B、LoRAH200を2台1224$73.68

価格確認日：

レンタルGPUで作業内容を失わないようにするには？

こまめに保存し、早めにコピーし、残高を確認してください。インスタンスはオンデマンドであり、Spotではありません。残高がある限りGPUを取り戻されることはなく、インスタンスは停止するまで稼働し続けます。あるGPUのGPU時間を使い切ると、そのインスタンスは停止し、ディスクは保持されます。新しい時間ブロックを購入すれば再度起動できます。実行が停止した場合、Pythonからtrainer.train(resume_from_checkpoint=True)を呼び出すと、Hugging FaceのTrainerが出力フォルダ内の最後のチェックポイントから再開します。UnslothとAxolotlは他の有名なLoRAツールです。このガイドではTRLを使用します。コマンドラインフラグがHugging Faceの公式ページで文書化されているためです。

Llama ファインチューニングの質問

Llama 3.1 8BをファインチューニングするにはどのくらいのVRAMが必要ですか？

BF16ベースでQLoRAなら約6 GB、LoRAなら19.2 GBなので、24 GBのRTX 4090ならどちらも実行できます。フルファインチューニングはアクティベーションを除いて128〜144 GB、180 GBのB200が1台必要です。

Llama 70Bを1基のGPUでファインチューニングできますか？

はい、80 GBのA100またはH100でQLoRAを使えば可能です。推定値は52.5 GBです。BF16ベースでのLoRAは約168 GB必要で、B200 1台またはH200 2台になります。詳しくはLlama 70Bのファインチューニングに最適なGPUをご覧ください。

LoRAとQLoRAのどちらを使うべきですか？

メモリが制限要因ならQLoRAです。ベースモデルを4-bitで読み込み、LoRAと比べてメモリをおよそ3分の1に抑えます。GPUに余裕があればLoRAです。ベースはBF16のままです。両方のアダプターを独自の評価セットで比較してください。

Llamaのファインチューニングにはどのくらい時間がかかりますか？

学習トークン数、シーケンス長、バッチサイズによって異なり、実行時間は測定していないためタイミングはお伝えできません。10時間のブロックがあれば、長時間の実行前に1時間あたりのステップ数を測定できます。

GPUを暗号資産で支払えますか？

はい。GPUwithCryptoでは$25へのチャージからBTC, USDT, USDC, ETH, SOL, LTCで支払えます。本人確認もカードも不要です。インスタンスは稼働中、そのGPU用に購入したGPU時間から時間単価で分単位で課金されます。インスタンスを停止すると課金も即座に停止します。

出典 (12)
  1. TRL コマンドラインインターフェース — Hugging Face (read 2026-10-29)
  2. TRL PEFT統合（LoRA、QLoRA、アダプターの保存） — Hugging Face (read 2026-10-29)
  3. Hugging Face CLIガイド（hf auth login、hf upload） — Hugging Face (read 2026-10-29)
  4. TrainerとTrainingArguments — Hugging Face (read 2026-10-29)
  5. Llama 3.1 8Bモデルカード — Meta / Hugging Face (read 2026-10-29)
  6. Llama 3.1 70B モデルカード — Meta / Hugging Face (read 2026-10-29)
  7. The Llama 3 Herd of Models（Table 3） — arXiv (read 2026-10-29)
  8. QLoRA: Efficient Finetuning of Quantized LLMs — arXiv (read 2026-10-29)
  9. LoRA: Low-Rank Adaptation of Large Language Models — arXiv (read 2026-10-29)
  10. vLLMレシピ（LoRAサービングフラグ） — vLLM project (read 2026-10-29)
  11. SaladCloudの価格変更、2026年11月 blog.salad.com/saladcloud-price-changes-november-2026 — Salad (read 2026-10-29)
  12. Massed Computeの料金 vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)

H100 $2.32/時間から · KYC不要

GPUをレンタル