GPU 资源计算器

开源大语言模型GPU 资源计算器

计算开源大语言模型(LLM)在推理和训练过程中所需的GPU资源,确定适当的硬件配置。

LLM GPU Calculator

LLM GPU 计算器
计算 LLM 推理和训练的 GPU 内存需求

选择一个流行模型或自定义以下参数

模型参数数量,以十亿为单位(例如,7 表示 7B 模型)

模型权重精度

同时处理的输入数量

最大上下文长度(例如,2048、4096、8192)

模型中的 Transformer 层数

模型嵌入维度

注意力机制头的数量

要训练的参数百分比(适用于 LoRA/QLoRA)