オープンソースの大規模言語モデル(LLM)の推論とトレーニングに必要なGPUリソースを計算し、適切なハードウェア構成を決定します。
人気のモデルを選択するか、以下のパラメータをカスタマイズしてください
十億単位のパラメータ数(例:7Bモデルの場合は7)
モデルの重みの精度
同時に処理される入力の数
最大コンテキスト長(例:2048、4096、8192)
モデル内のトランスフォーマーレイヤーの数
モデルの埋め込みの次元
アテンションヘッドの数
トレーニングするパラメータの割合(LoRA/QLoRA用)