Réponse rapide
Comment fine-tuner Llama sur un GPU loué ?
Pour fine-tuner Llama sur un GPU loué, entraînez un adaptateur LoRA ou QLoRA avec Hugging Face TRL. Llama 3.1 8B demande environ 6 GB en QLoRA et 19,2 GB en LoRA, donc un seul RTX 4090 de 24 GB suffit ; Llama 3.1 70B en QLoRA demande environ 52,5 GB, soit un A100 80GB. Copiez l'adaptateur avant de supprimer l'instance. Au 29 octobre 2026, GPUwithCrypto loue le RTX 4090 à 0,28 $/heure, payable en crypto.
De quel GPU ai-je besoin pour fine-tuner Llama ?
Mémoire selon les règles de notre guide VRAM : QLoRA ≈ 0,75 GB par milliard de paramètres, LoRA = 2 octets par paramètre × 1,2, fine-tuning complet 16–18 octets par paramètre. Nos prix du 29 octobre 2026.
| Modèle | Méthode | VRAM (règle) | GPU | GPUwithCrypto par heure |
|---|---|---|---|---|
| Llama 3.1 8B | QLoRA | 6 GB | 1× RTX 4090 (24 GB) | 0,28 $/heure |
| Llama 3.1 8B | LoRA (base BF16) | 19.2 GB | 1× RTX 4090 (24 GB) | 0,28 $/heure |
| Llama 3.1 8B | Fine-tuning complet | 128–144 GB + activations | 1× B200 (180 GB) | 4,61 $/heure |
| Llama 3.1 70B | QLoRA | 52.5 GB | 1× A100 80GB ou 1× H100 | 0,92 $/heure ou $2,32/heure |
| Llama 3.1 70B | LoRA (base BF16) | 168 GB | 1× B200 ou 2× H200 | 4,61 $/heure ou $6.14/heure |
Prix vérifiés le
Disque : les poids de Llama 3.1 8B Instruct prennent 16,1 GB, ceux de 70B Instruct 141,1 GB. Laissez de la place pour les checkpoints.
Comment lancer un fine-tuning QLoRA de Llama 3.1 8B ?
Commandes issues de la documentation de Hugging Face TRL et Hub. Remplacez l'id du modèle par meta-llama/Llama-3.1-70B-Instruct sur un GPU de 80 GB pour entraîner le modèle 70B de la même manière. Nouveau sur les GPU loués ? Comment louer un GPU pour l'IA couvre le compte, le SSH et un premier job.
Louer le GPU
Démarrez une instance 1× RTX 4090 pour le modèle 8B, ou une 1× A100 80GB pour 70B. Chaque instance vous donne des GPU entiers, jamais une tranche partagée dans le temps ni une partition MIG. Vous obtenez un accès SSH root à Ubuntu avec le driver NVIDIA, CUDA et PyTorch installés, ou vous partez de votre propre image Docker.
Obtenir l'accès à Llama
Les dépôts meta-llama sur Hugging Face sont protégés : demandez l'accès sur la page du modèle et acceptez la licence de Meta, puis exécutez
hf auth loginsur l'instance avec un token de lecture.Installer TRL, PEFT et bitsandbytes
pip install "trl[peft]" bitsandbytes. bitsandbytes fournit le chargement en 4 bits dont QLoRA a besoin.Choisir un dataset
Utilisez un id de dataset Hugging Face ou votre propre fichier de conversations. L'exemple utilise
trl-lib/Capybara, le dataset des propres exemples de TRL.Entraîner l'adaptateur
Exécutez la commande
trl sftci-dessous danstmux.--load_in_4bitcharge la base en 4 bits,--use_peftajoute l'adaptateur LoRA, et les checkpoints arrivent dans--output_dir.Tester l'adaptateur
Chargez le modèle de base, attachez l'adaptateur avec PEFT et comparez les réponses avec le modèle de base sur vos propres prompts.
Copier l'adaptateur, puis supprimer
Chaque instance dispose d'un disque NVMe local, dimensionné pour son GPU et affiché avant le démarrage. Le disque est effacé quand vous supprimez l'instance, alors copiez d'abord vos checkpoints. Copiez le dossier de sortie sur votre ordinateur ou poussez-le vers un dépôt Hugging Face privé, puis supprimez l'instance.
pip install "trl[peft]" bitsandbytes
hf auth login
trl sft \
--model_name_or_path meta-llama/Llama-3.1-8B-Instruct \
--dataset_name trl-lib/Capybara \
--load_in_4bit \
--use_peft \
--lora_r 32 \
--lora_alpha 16 \
--lora_target_modules q_proj k_proj v_proj o_proj gate_proj up_proj down_proj \
--learning_rate 2.0e-4 \
--num_train_epochs 1 \
--per_device_train_batch_size 1 \
--gradient_accumulation_steps 16 \
--gradient_checkpointing \
--save_strategy steps \
--save_steps 200 \
--output_dir llama-3.1-8b-qlora
À quoi servent les principaux flags d'entraînement ?
--lora_r 32 --lora_alpha 16: le rang et la mise à l'échelle de l'adaptateur, les valeurs des exemples PEFT de TRL. Un rang 32 sur les sept couches linéaires de Llama 3.1 8B entraîne environ 84 millions de paramètres, soit environ 1 % du modèle.--learning_rate 2.0e-4: la documentation de TRL recommande environ 10 fois le taux du fine-tuning complet (2.0e-5) pour LoRA.--per_device_train_batch_size 1 --gradient_accumulation_steps 16: un batch effectif de 16 avec la mémoire d'un batch de 1.--gradient_checkpointing: recalcule les activations au lieu de les stocker, en échangeant du temps contre de la mémoire.--save_strategy steps --save_steps 200: écrit un checkpoint toutes les 200 étapes, donc un crash coûte au plus 200 étapes.
# from your computer: copy the adapter folder before you delete the instance
rsync -avP -e "ssh -p SSH_PORT" root@HOST:/root/llama-3.1-8b-qlora/ ./llama-3.1-8b-qlora/
# or, on the instance: create a private repo on huggingface.co first, then upload
hf upload your-name/llama-3.1-8b-qlora ./llama-3.1-8b-qlora .
# later, serve the base model with the adapter in vLLM
vllm serve meta-llama/Llama-3.1-8B-Instruct \
--enable-lora --max-lora-rank 32 \
--lora-modules my-adapter=./llama-3.1-8b-qlora
Combien coûte le fine-tuning de Llama sur un GPU loué ?
Coût = GPU × heures réelles × prix par GPU-heure. Les heures ci-dessous sont des hypothèses à titre d'illustration, pas des mesures : la durée d'exécution dépend des tokens de votre dataset, de la longueur de séquence et de la taille du batch. Nous avons choisi des heures qui correspondent à nos blocs de 10 et 24 GPU-heures. Les GPU-heures sont vendues par blocs de 10, 24, 168 ou 720 heures pour un modèle de GPU, au même tarif horaire ; les instances de ce GPU y sont prélevées à la minute, et les heures non utilisées n'expirent jamais. Chaque GPU et chaque bloc sont listés sur la tarification GPU.
Un petit GPU est la plus grosse économie. Selon le contrôle de prix de GPUwithCrypto du 29 octobre 2026, le RTX 4090 on-demand en self-serve le moins cher coûtait $0.33 par heure (Salad) et le H100 le moins cher $2.73 (Massed Compute) : 8,3 fois plus, pour un job QLoRA 8B qui tient dans 24 GB dans les deux cas. La page de prix du RTX 4090 liste les fournisseurs que nous avons vérifiés.
Estimation du coût d'exécution selon les heures supposées
| Job | Configuration | Heures supposées (non mesurées) | GPU-heures | Coût GPUwithCrypto |
|---|---|---|---|---|
| Llama 3.1 8B, QLoRA | 1× RTX 4090 | 10 | 10 | 2,80 $US |
| Llama 3.1 8B, LoRA | 1× RTX 4090 | 24 | 24 | 6,72 $US |
| Llama 3.1 70B, QLoRA | 1× A100 80GB | 24 | 24 | 22,08 $US |
| Llama 3.1 70B, LoRA | 2× H200 | 12 | 24 | 73,68 $US |
Prix vérifiés le
Comment éviter de perdre du travail sur un GPU loué ?
Sauvegardez souvent, copiez vos résultats tôt et surveillez le solde. Les instances sont à la demande, pas spot : personne ne peut vous reprendre votre GPU tant que votre solde le couvre, et l'instance tourne jusqu'à ce que vous l'arrêtiez. Quand les GPU-heures d'un GPU sont épuisées, ses instances s'arrêtent et leurs disques sont conservés ; un nouveau bloc d'heures vous permet de les redémarrer. Si une exécution s'arrête, le Trainer de Hugging Face reprend depuis le dernier checkpoint du dossier de sortie lorsque vous appelez trainer.train(resume_from_checkpoint=True) depuis Python. Unsloth et Axolotl sont deux autres outils LoRA bien connus ; ce guide utilise TRL parce que ses flags en ligne de commande sont documentés sur les pages de Hugging Face.
Questions sur le fine-tuning de Llama
De combien de VRAM ai-je besoin pour fine-tuner Llama 3.1 8B ?
Environ 6 GB avec QLoRA et 19,2 GB avec LoRA sur une base BF16, donc une RTX 4090 de 24 GB fait tourner les deux. Un fine-tuning complet nécessite 128 à 144 GB avant les activations, soit un B200 de 180 GB.
Peut-on fine-tuner Llama 70B sur un seul GPU ?
Oui, avec QLoRA sur un A100 ou H100 de 80 GB : l'estimation est de 52,5 GB. LoRA sur une base BF16 nécessite environ 168 GB, soit un B200 ou deux H200. Plus de détails dans le meilleur GPU pour fine-tuner Llama 70B.
Dois-je utiliser LoRA ou QLoRA ?
QLoRA quand la mémoire est la limite : il charge le modèle de base en 4-bit et divise à peu près la mémoire par trois par rapport à LoRA. LoRA quand le GPU a de la place : la base reste en BF16. Comparez les deux adaptateurs sur votre propre jeu d'évaluation.
Combien de temps prend le fine-tuning de Llama ?
Cela dépend du nombre de tokens d'entraînement, de la longueur de séquence et de la taille de batch, et nous n'avons mesuré aucune exécution, donc nous ne donnons aucun temps. Un bloc de 10 heures suffit pour mesurer vos étapes par heure avant une longue exécution.
Puis-je payer le GPU en crypto ?
Oui. GPUwithCrypto accepte BTC, USDT, USDC, ETH, SOL, LTC depuis une recharge 25 $US, sans pièce d'identité et sans carte. Les instances sont facturées à la minute au tarif horaire pendant qu'elles tournent, à partir des GPU-heures achetées pour ce GPU. Arrêter une instance arrête immédiatement la facturation.
Sources (12)
- Interfaces en ligne de commande TRL — Hugging Face (read 2026-10-29)
- Intégration TRL PEFT (LoRA, QLoRA, sauvegarde des adaptateurs) — Hugging Face (read 2026-10-29)
- Guide CLI Hugging Face (hf auth login, hf upload) — Hugging Face (read 2026-10-29)
- Trainer et TrainingArguments — Hugging Face (read 2026-10-29)
- Carte modèle Llama 3.1 8B — Meta / Hugging Face (read 2026-10-29)
- Fiche du modèle Llama 3.1 70B — Meta / Hugging Face (read 2026-10-29)
- The Llama 3 Herd of Models (Table 3) — arXiv (read 2026-10-29)
- QLoRA: Efficient Finetuning of Quantized LLMs — arXiv (read 2026-10-29)
- LoRA: Low-Rank Adaptation of Large Language Models — arXiv (read 2026-10-29)
- Recettes vLLM (flags de service LoRA) — vLLM project (read 2026-10-29)
- Changements de prix de SaladCloud, novembre 2026 blog.salad.com/saladcloud-price-changes-november-2026 — Salad (read 2026-10-29)
- Tarifs de Massed Compute vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)