¿Qué modelo de IA cabe en mi GPU?
Elige la memoria de tu gráfica y la cuantización. Verás qué modelos de texto e imagen puedes correr en local y el equipo más ajustado si te falta memoria.
Memoria de tu GPU
Estimación: parámetros × bits ÷ 8, más un 20 % para contexto y caché. Los modelos de imagen usan su consumo típico.
- Llama 3.1 8B textocabe5,4 GB
- SDXL imagencabe8,0 GB
- Qwen 2.5 14B textocabe9,5 GB
- Flux.1 dev imagencabe16 GB
- Mistral Small 24B textocabe16 GB
- Qwen 2.5 32B textocabe22 GB
- Llama 3.3 70B textono cabe47 GB
- Qwen3 235B (MoE) textono cabe159 GB
- DeepSeek R1 671B textono cabe453 GB
Cómo se calcula
Un modelo ocupa, en GB, sus miles de millones de parámetros multiplicados por los bits de cada peso y divididos entre 8. A eso le sumamos un 20 % para el contexto de la conversación (la caché KV) y el resto de la memoria que usa el programa.
Ejemplo: Qwen 2.5 32B en Q4 (unos 4,5 bits reales) ocupa 32 × 4,5 ÷ 8 = 18 GB de pesos, más un 20 %: unos 21,6 GB. Cabe en una gráfica de 24 GB, no en una de 16.
Para los modelos de imagen usamos el consumo típico: SDXL va bien en 8 GB y Flux.1 dev en FP8 pide 16 GB.
Preguntas frecuentes
¿Cuánta VRAM necesita Llama 3 70B?
En Q4 unos 47 GB contando el contexto: no cabe en una sola gráfica de consumo. Necesitas dos de 24 GB, una de 48 GB o un equipo de memoria unificada de 64 GB o más.
¿Qué es la cuantización Q4?
Guardar los pesos del modelo con unos 4 bits en lugar de 16. Ocupa casi cuatro veces menos y la calidad apenas baja en modelos grandes.
¿Qué pasa si el modelo no cabe en la VRAM?
Herramientas como Ollama o LM Studio pasan parte a la RAM del PC, pero la velocidad cae muchísimo: de decenas de tokens por segundo a pocos.
¿Cuenta la memoria unificada de Mac o Ryzen AI Max como VRAM?
Sí, casi toda. En Mac el sistema reserva una parte; en Ryzen AI Max se pueden asignar hasta 96 GB de los 128 a la gráfica.