Logo
NVIDIA Outils LLM
Calculateur de ressources GPU

Calculateur de ressources GPUpour LLM open source

Calculez les ressources GPU nécessaires pour l'inférence et l'entraînement des modèles de langage large open source (LLMs) afin de déterminer les configurations matérielles appropriées.

LLM GPU Calculator

Calculateur GPU pour LLM
Calculez les besoins en mémoire GPU pour l'inférence et l'entraînement des LLM

Sélectionnez un modèle populaire ou personnalisez les paramètres ci-dessous

Nombre de paramètres en milliards (ex: 7 pour un modèle 7B)

Précision pour les poids du modèle

Nombre d'entrées traitées simultanément

Longueur maximale du contexte (ex: 2048, 4096, 8192)

Nombre de couches transformers dans le modèle

Dimension des embeddings du modèle

Nombre de têtes d'attention

Pourcentage de paramètres à entraîner (pour LoRA/QLoRA)