¿Cuál es la mejor GPU para fine-tuning de Llama 70B (LoRA, QLoRA, full)?

¿Cuánta memoria necesita cada método para un modelo de 70B?

• QLoRA: el modelo base se carga en 4-bit y se congela; solo se entrenan adaptadores pequeños. El paper de QLoRA hizo fine-tuning de un modelo de 65B en una GPU de 48 GB: 48 ÷ 65 = 0,74 GB por cada mil millones de parámetros, redondeado a 0,75. Para 70B: 70 × 0,75 = 52,5 GB.
• LoRA: la base se queda en BF16 y congelada: 70 × 2 bytes = 140 GB. Los adaptadores y su optimizador añaden cerca del 1%; con nuestro margen de planificación del 20%, 140 × 1,2 = 168 GB.
• Fine-tuning full, precisión mixta con AdamW: EleutherAI cuenta 2 + 12 + 2 = 16 bytes por parámetro (pesos, optimizador con copia FP32, gradientes): 70 × 16 = 1.120 GB. Hugging Face cuenta 6 + 8 + 4 = 18 bytes: 1.260 GB. Las activaciones van aparte.
• Fine-tuning full con Adam de 8-bit: Hugging Face cifra los estados del optimizador de 8-bit en 2 bytes en vez de 8, así que 6 + 2 + 4 = 12 bytes: 70 × 12 = 840 GB.

Son reglas de planificación de las fuentes citadas, no mediciones. La longitud de secuencia y el tamaño de batch cambian la memoria de activaciones; el gradient checkpointing la reduce. Las mismas reglas para otros tamaños de modelo: ¿cuánta VRAM necesito?

¿Cuánto cuesta un entrenamiento de fine-tuning de Llama 70B?

Coste = GPUs × horas de reloj × precio por GPU-hora. Las horas de abajo son suposiciones elegidas como ejemplo, no mediciones: el tiempo de ejecución depende del número de tokens de entrenamiento, la longitud de secuencia, el batch size y el software. Mide tus propios pasos por hora en una ejecución corta antes de dimensionar una larga. Las horas asumidas coinciden con nuestros bloques de 10, 24 y 168 GPU-horas. Las GPU-horas se venden en bloques de 10, 24, 168 o 720 horas para un modelo de GPU, a la misma tarifa horaria; las instancias de esa GPU consumen de esos bloques por minuto, y las horas no usadas nunca caducan. Cada bloque y cada GPU están en precios de GPU.

¿Cuánto más cuesta el fine-tuning completo que QLoRA?

Unas 40 veces más por hora de hardware. Según la comprobación de precios de GPUwithCrypto del 29 de octubre de 2026, el precio on-demand de autoservicio más bajo para una instancia de 8× B200 era de 43,46 $ por hora (Massed Compute, 5,4325 $ por GPU). Una A100 80GB costaba 1,09 $ por hora en Thunder Compute. La proporción es la misma con nuestros precios: $36.88/hora frente a $0.92/hora.

Esa diferencia es la razón por la que la mayoría de los proyectos de 70B empiezan con QLoRA o LoRA. El paper de LoRA reporta resultados a la par del fine-tuning completo en las tareas que probó, con 10.000 veces menos parámetros entrenables.

¿Es mejor la H100 o la A100 para QLoRA en 70B?

Ambas sostienen la estimación de 52,5 GB en 80 GB. La H100 tiene 3,2 veces el rendimiento máximo BF16 Tensor de la A100 (989,5 frente a 312 TFLOPS densos) y 3.350 GB/s de ancho de banda (SXM) frente a 2.039 GB/s. Son las cifras máximas de NVIDIA; la velocidad real de entrenamiento depende del software. La A100 cuesta $0.92/hora y la H100 $2,32/hora con nuestros precios. Elige la A100 cuando el presupuesto es fijo, la H100 cuando lo es la fecha límite. Más: H100 vs A100.

¿Qué software ejecuta cada método?

Hugging Face TRL ejecuta QLoRA y LoRA con un solo comando: --load_in_4bit --use_peft para QLoRA, --use_peft solo para LoRA. Para LoRA multi-GPU y fine-tuning completo, TRL incluye perfiles de Accelerate ya preparados como fsdp2 y zero3 (DeepSpeed ZeRO-3), que se pasan con --accelerate_config. Los repositorios de Llama 3.1 en Hugging Face están restringidos: acepta primero la licencia de Meta en la página del modelo. Comandos paso a paso: fine-tuning de Llama en una GPU alquilada.