Logo
NVIDIA LLM Tools
GPU-Ressourcenrechner

Open Source LLMGPU-Ressourcenrechner

Berechnen Sie die für Inferenz und Training von Open-Source-Sprachmodellen (LLMs) benötigten GPU-Ressourcen, um geeignete Hardware-Konfigurationen zu bestimmen.

LLM GPU Calculator

LLM GPU Rechner
Berechnen Sie den GPU-Speicherbedarf für LLM-Inferenz und -Training

Wählen Sie ein beliebtes Modell oder passen Sie die Parameter unten an

Anzahl der Parameter in Milliarden (z.B. 7 für ein 7B-Modell)

Präzision für Modellgewichte

Anzahl der gleichzeitig verarbeiteten Eingaben

Maximale Kontextlänge (z.B. 2048, 4096, 8192)

Anzahl der Transformer-Schichten im Modell

Dimension der Modell-Embeddings

Anzahl der Attention-Köpfe

Prozentsatz der zu trainierenden Parameter (für LoRA/QLoRA)