GPUリソース計算ツール

オープンソースLLMGPUリソース計算ツール

オープンソースの大規模言語モデル(LLM)の推論とトレーニングに必要なGPUリソースを計算し、適切なハードウェア構成を決定します。

LLM GPU Calculator

LLM GPU 計算ツール
LLM推論とトレーニングのGPUメモリ要件を計算

人気のモデルを選択するか、以下のパラメータをカスタマイズしてください

十億単位のパラメータ数(例:7Bモデルの場合は7)

モデルの重みの精度

同時に処理される入力の数

最大コンテキスト長(例:2048、4096、8192)

モデル内のトランスフォーマーレイヤーの数

モデルの埋め込みの次元

アテンションヘッドの数

トレーニングするパラメータの割合(LoRA/QLoRA用)