社内LLM導入について

社内LLM導入に向けたGPUスペックの見積もり方

社しゃ内ないで大だい規模きぼ言語げんごモデルもでる、いわゆる LLM を導入どうにゅう・運用うんようするにあたって、GPU または TPU のスペックを見積もるみつもるには、いくつかの重要なじゅうようなポイントぽいんとがあります。

まず大きくおおきく分けてわけて、以下いかの5つの要素ようそを考慮こうりょする必要ひつようがあります。

・1つ目めは、モデルもでるのサイズさいずです。
たとえば LLaMA2 や Mistral、Gemma のようなオープンソースモデルもでるでは、7B、13B、70B といったパラメータぱらめーた数すうの違いちがいがあります。
モデルもでるが大きくおおきくなるほど、必要なひつようなメモリめもり量りょう、つまり GPU の VRAM が増えふえます。

・2つ目めは、利用りよう用途ようとです。
単純なたんじゅんな Q&A か、ドキュメントどきゅめんと生成せいせい、コードこーど補完ほかん、チャットちゃっとボットなど、目的もくてきによって処理しょり負荷ふかが大きくおおきく変わりかわります。

・3つ目めは、同時にどうじに使うつかう人数にんずう（同時どうじアクセスあくせす数すう）です。
例えばたとえば10人にんが同時にどうじに使うつかうのか、それとも100人にんか。
これによって必要なひつようなスループット、バッチ処理しょり能力のうりょくが変わりかわります。

・4つ目めは、1回かいのプロンプトで使わつかわれるトークン数すうです。
トークンというのは、言葉ことばを構成こうせいする単位たんいです。
たとえば「今日きょうはいい天気てんきですね」という一文いちぶんでも、数すうトークンに分割ぶんかつされます。
やり取りやりとりが長くながくなるほど、モデルもでるの負荷ふかも上がりあがります。

・最後さいごは、応答おうとうの速はやさ（レスポンスれすぽんすタイムたいむ）の要求ようきゅうレベルれべるです。
ユーザーゆーざーが数すう秒びょう待てるまてる場合ばあいと、リアルりあるタイムたいむで返事へんじが必要なひつような場合ばあいとでは、求めもとめられる GPU 性能せいのうも異なりことなります。

💡 では、どのくらいの GPU が必要ひつようか？

モデルもでるのサイズさいずに応じておうじて、大体だいたい以下いかのように見積もるみつもることができます：

このように、量子りょうし化か（INT4）を使えばつかえば、GPUメモリめもりの使用しよう量りょうを半分はんぶん以下いかに抑えるおさえることも可能ですかのうです。

実際じっさいの社しゃ内ない利用りようでは、vLLM のような推論すいろんエンジンえんじんを使うつかうと、効率こうりつ的にてきに GPU を使ってつかってスループットを上げるあげることができます。

もし小しょう規模きぼなチームちーむで使うつかう場合ばあいには、

• A100 40GB
• L40S 48GB
  のような GPU 1枚まいでも、7B〜13B のモデルもでるで十分にじゅうぶんに回せまわせます。

70Bクラスくらすのモデルもでるを扱うあつかう場合ばあいは、GPU を複数ふくすう枚まい使ったつかったクラスタ構成こうせい、あるいはクラウド上じょうのインフラいんふらが必要にひつようになります。

以上いじょうが、LLM の社しゃ内ない運用うんように必要なひつような GPU/TPU スペックの基本きほん的なてきな見積もりみつもりになります。
ご質問しつもんがあれば、ぜひどうぞ。