¿Cuánta VRAM necesito para ejecutar o afinar un LLM?

¿Cómo calculo la VRAM que necesita un modelo?

Multiplica el número de parámetros por los bytes que ocupa cada parámetro y luego añade un 20 %. Ejemplo resuelto, Llama 3.1 70B en FP8: 70 mil millones × 1 byte = 70 GB de pesos, y 70 × 1,2 = 84 GB. Eso es más que una H100 de 80 GB y menos que una H200 de 141 GB, así que el ajuste más pequeño es una H200. Qué GPU sirve cada modelo más rápido por el dinero: mejor GPU para inferencia de LLM.

El 20 % cubre la KV cache y las activaciones con una longitud de contexto y un tamaño de lote moderados. La regla y los bytes por parámetro vienen de Transformer Math 101 de EleutherAI. Es una regla de dimensionamiento, no una garantía: los prompts largos, muchos usuarios en paralelo y el overhead del framework la superan. Un total dentro del 5 % de la VRAM de una tarjeta, como Qwen2.5 32B en BF16 (78 GB) en una tarjeta de 80 GB, funciona solo con prompts cortos; para los largos, sube al siguiente tamaño.

¿Cuánta VRAM añade un contexto largo?

Un contexto largo añade la caché KV: dos vectores (clave y valor) por capa, por cabeza KV, por token. Para Llama 3.1 70B (80 capas, 8 cabezas KV de 128 valores, según el paper de Llama 3) en BF16: 2 × 80 × 8 × 128 × 2 bytes = 327.680 bytes por token. Por tanto, una conversación de 128K tokens (131.072 tokens) necesita 42,9 GB.

Súmalo a los pesos FP8: 70 + 42,9 = 112,9 GB, sigue cabiendo en una H200. Cuatro conversaciones así a la vez necesitan 70 + 4 × 42,9 = 241,6 GB, es decir, dos H200. Una caché KV en FP8 reduce a la mitad las cifras de la caché. Los modelos DeepSeek comprimen su caché de atención, así que esta fórmula no se les aplica.

¿Cuánta VRAM necesito para hacer fine-tuning de un LLM?

El fine-tuning completo necesita de 16 a 18 bytes por parámetro antes de las activaciones. EleutherAI cuenta 2 bytes de pesos, 12 de estado del optimizador (con la copia en FP32) y 2 de gradientes; Hugging Face cuenta 6 + 8 + 4 = 18. LoRA congela el modelo base, así que necesita unos 2 bytes por parámetro para una base en BF16; el paper de LoRA reporta un recorte de 3× en memoria de GPU frente al fine-tuning completo. Nuestro margen de planificación de × 1,2 en LoRA es una convención propia. QLoRA carga la base en 4 bits: sus autores hicieron fine-tuning de un modelo de 65B en una sola GPU de 48 GB, 48 ÷ 65 = 0,74 GB por cada mil millones de parámetros, redondeado a 0,75. Cada método aplicado a un modelo de 70B: mejor GPU para hacer fine-tuning de Llama 70B.

¿Por qué el número de GPU salta de 2 a 4 y a 8?

El paralelismo de tensores reparte las cabezas de atención de cada capa por igual entre las GPU. vLLM se niega a arrancar cuando el número de cabezas no es divisible entre el número de GPU. Llama 3.1 70B tiene 64 cabezas de atención, así que funcionan 2, 4 u 8 GPU y 3 no. Tres H100 de 80 GB (240 GB) albergan un modelo de 168 GB sobre el papel, pero no son una configuración usable; cuatro sí. Las instancias tienen de 1 a 8 GPU según el host. Antes de empezar, el panel muestra el país de cada host, el número de GPU, el formato (SXM o PCIe) y la interconexión.

¿Cuánto cuesta por hora la GPU adecuada?

La precisión cambia la factura más que cualquier otra decisión. Llama 3.1 70B necesita una B200 en BF16, pero una L40S en 4 bits. Según la comprobación de precios de GPUwithCrypto del 29 de octubre de 2026, los precios on-demand self-serve más bajos para esas dos GPU eran $5.43 y $0.97 por hora: 4 bits recorta el coste por hora un 82 %. Con nuestros precios, el par cuesta $4.61/hora y $0.82/hora. Comprueba la salida en 4 bits con tus propios prompts antes de decidirte. Todas las GPU y bloques de horas están en la página de precios.