Logo
NVIDIA Herramientas LLM
Calculadora de recursos GPU

Calculadora de recursos GPUpara LLM de código abierto

Calcule los recursos GPU necesarios para inferencia y entrenamiento de modelos de lenguaje grande de código abierto (LLMs) para determinar configuraciones de hardware adecuadas.

LLM GPU Calculator

Calculadora de GPU para LLM
Calcula los requisitos de memoria GPU para inferencia y entrenamiento de LLM

Seleccione un modelo popular o personalice los parámetros a continuación

Número de parámetros en miles de millones (p.ej., 7 para un modelo de 7B)

Precisión para los pesos del modelo

Número de entradas procesadas simultáneamente

Longitud máxima de contexto (p.ej., 2048, 4096, 8192)

Número de capas de transformador en el modelo

Dimensión de los embeddings del modelo

Número de cabezas de atención

Porcentaje de parámetros a entrenar (para LoRA/QLoRA)