生成AIの使い方でGPUサーバーの必要性は変わる

同じ「生成AIを使う」でも、完成したアプリを開く場合と、モデルを自社側で動かす場合では、用意するものが違います。まずは利用する範囲を分けると、設備の話を整理できます。

既成サービスやAPIを使う場合

文章を入力して回答を受け取る既成サービスでは、提供事業者がモデルを動かす基盤を用意しています。利用端末の条件を満たせば、手元に高性能なGPUがなくても使えるサービスがあります。

自社のシステムと生成AIをつなぐ方法がAPIです。必要な入力を外部のモデルに送り、結果を受け取る窓口と考えるとわかりやすいでしょう。たとえば、問い合わせ文を送って回答案を受け取り、自社の画面に表示します。

この場合、自社でGPUサーバーを買うことと、APIの利用料を払うことは別です。AWSの公式資料も、Amazon BedrockのAPI利用では、利用者がGPUなどの基盤を用意・管理する必要がないと説明しています。

自分でモデルを動かす場合の選択肢

一方、選んだモデルを自社の管理する環境で実行したい場合は、計算する機器や実行用ソフトウェアを用意します。モデルとは、学習によって得られた数値のまとまりなどを使い、入力から出力を作る仕組みです。

この環境も、自社所有の機器だけとは限りません。クラウド上のGPUを借りたり、条件に合う現物の機器を借りたりする方法があります。小さなモデルをCPUで試せる場合もあり、使いたいモデルと仕事の条件から絞ります。

まず決めるのは機種より仕事の目的

議事録の下書き、社内規程を参照した回答、商品画像の生成では、必要な仕組みが異なります。「生成AIを導入する」という大きな目標を、実際に置き換えたい作業へ落とすことが先です。

表は横にスクロールできます

社内向けの画面を作ることと、モデルの計算基盤まで持つことも別です。APIとの連携で足りるなら、先に使えるかを確かめられます。モデル自体を自分で動かす理由があるときに、CPUやGPUの比較へ進みます。

GPUが得意な処理とCPUの役割

GPUは、もともと画像の描画で使われてきた計算装置です。画像を扱う仕組みの中には、大量の似た計算をまとめて進める仕事があり、この得意分野が生成AIの計算にもつながっています。

大量の似た計算をまとめて進める役割

生成AIの内部では、多くの数値について掛け算や足し算を繰り返します。GPUはこうした処理を並べて実行することに向いています。文章を作る場合も、裏側では数値を扱うためGPUを活用できます。

CPUも複数のコアを持ち、並列処理ができます。ただ、プログラム全体の制御やデータの準備なども担い、GPUとは得意な仕事が異なります。GPUを増やせばCPUが不要になるわけでも、コア数の比率だけ処理が速くなるわけでもありません。

小さなモデルをCPUで動かす方法もある

GPUがなくても、対応するモデルとソフトウェアを組み合わせれば、CPUで生成AIを動かせる場合があります。IntelのOpenVINO公式資料には、小型の言語モデルをCPUで実行するチャットボットの例があります。

ただし、起動して回答が出ることと、仕事で使えることは同じではありません。一人の試用では待てても、多くの社員が使うと待ち時間が長くなる場合があります。必要な回答品質、待てる時間、同時利用の条件で実際に測ります。

推論と学習では計算の負担が違う

学習済みのモデルに質問を入力し、回答を作らせる処理を「推論」といいます。普段、生成AIに文章を作ってもらう操作は、この推論を利用しています。

これに対して学習は、データからパターンを学ばせてモデルの数値を調整する処理です。ゼロから大きなモデルを学習することと、既存モデルを使って回答を得ることでは、作業の規模が違います。

画像生成も、モデルや画像の大きさ、処理の設定によって負担が変わります。「生成AIだからこのGPUが必須」と機種を決めず、どの処理を自分たちで行うのかを先に区別します。

社内文書の検索と追加学習を分ける

社内の情報を回答に使いたいときも、すべての資料を使ってモデルを学習し直す必要があるとは限りません。資料を探して渡す方法と、モデルの振る舞いを調整する方法を分けて考えます。

RAGは必要な資料を探して回答に渡す仕組み

たとえば「出張の精算方法は」と聞かれたら、社内規程から関係する箇所を探し、質問と一緒にモデルへ渡します。このように検索した情報を回答の材料にする仕組みがRAGです。

RAGは、検索した資料を毎回の回答に使うもので、モデルの数値を書き換える追加学習とは異なります。管理型のサービスでも構築できるため、社内資料を使うことが、そのまま自社GPUサーバーの購入理由にはなりません。

Amazon Bedrock Knowledge Basesでも、資料の取り込みや検索などの基盤をサービス側が担う形と、利用者側で管理する形が区別されています。

追加学習は回答の振る舞いや形式を調整する方法

回答を一定の形式にそろえる、特定の作業の例を学ばせる、といった目的では追加学習を検討します。モデルの数値を調整するため、学習に使うデータと、改善したかを確かめるテストが必要です。

Fine-tuning adapts a pretrained model to your task through additional training on task-specific data.

出典：Microsoft Learn「Fine-tuning in Microsoft Foundry」

Microsoftの説明は、既存モデルに作業固有のデータで追加の学習を行うという意味です。同サービスには学習用GPUを利用者が用意しない方式もあり、追加学習をする場合でも自社所有が前提ではありません。学習と、その後にモデルを動かす費用は分けて確認します。

正しい回答には資料と評価の準備が必要

表は横にスクロールできます

二つは併用できます。また、どちらを使うかと、管理型サービスか自前の環境かは別の選択です。最新の社内資料を参照させたいだけなのに、まず学習用設備を買うという順番にはしません。

RAGでも、古い資料や関係のない箇所を渡せば、誤った回答が残ります。社員ごとの閲覧権限を検索時にも反映し、参照した資料と回答を照らし合わせる準備が欠かせません。詳しい仕組みと限界はMicrosoftのRAGの公式説明でも確認できます。

自前実行ではモデルと使い方から容量を決める

モデルを自前で動かすと決めたら、使うモデルと条件をそろえて計算環境を選びます。「生成AI用なら何GB」という一つの数字では、必要な容量や速さを決められません。

VRAMはモデル以外の処理にも使われる

VRAMは、GPUが計算中に使うメモリです。モデルの数値を置くほか、回答を作る途中の情報や通信などにも使います。モデルのファイルが入る容量だけあれば、必ず正常に動くということではありません。

数値の表現を小さくして容量を減らす「量子化」という方法もあります。ただし、モデルやGPU、実行ソフトウェアが対応しているか、必要な回答品質を保てるかを確かめます。容量が減る割合や速度をすべてのモデルに当てはめることはできません。

長い入力と同時利用で条件が変わる

短い質問一つに答える場合と、長い文書を読ませて何人も同時に使う場合では、同じモデルでも必要なメモリや待ち時間が変わります。入力文の長さだけでなく、作らせる回答の長さもそろえて測ります。

NVIDIAのメモリ診断資料も、モデル以外の領域や、やり取りを保持する領域がGPUメモリを使うと説明しています。同時利用者が増えたら単純に同じ倍率で容量を増やすという計算ではなく、予定する負荷で確認することが大切です。

複数GPUはメモリを足すだけでは使えない

複数のGPUを使う場合は、モデルを分けて処理する実行方式や接続の条件が関係します。2枚のカードを取り付けただけで、一つの大きなメモリとして自由に使えるとは限りません。

NVIDIA NIMの構成資料では、対応する実行エンジンや精度、並列処理の設定と、GPUごとの必要メモリを確認します。また、AMDの公式資料にも対応機器で推論を動かす方法があります。特定メーカーでなければ生成AIを動かせない、という一律の判断もしません。

機種の種類や周辺部品まで絞る段階では、GPUサーバーの選び方も参考になります。本記事で先に決めたいのは、機種名よりも、どのモデルをどの条件で使うかです。

データ管理と運用の条件で設置先を比べる

社外秘を扱うなら、自社のサーバーを買うべきでしょうか。必要なのは、データがどこへ送られ、誰が管理し、どの作業を自社で担うのかを具体的に比べることです。

データの送り先と利用条件を確かめる

外部サービスに渡すデータについては、保存場所や期間、学習への利用、外部への再委託などを契約で確かめます。サービス名が似ていても、プランや契約によって条件が異なることがあります。

自社所有の機器でも、外部APIを呼んだり、ログを外へ送ったりする設計なら、その送信先の確認が必要です。所有場所だけで情報の扱いが決まるわけではありません。

公開されたモデルにも利用条件があります。商用利用、改変、再配布などの条件は個別に確認します。AWSのモデルアクセスの説明にも、第三者モデルの利用に適用されるライセンスへの同意が示されています。

クラウドでも残る管理作業

完成したサービスを使う場合と、クラウド上のGPU付き仮想サーバーで自分たちがOSやアプリを動かす場合では、担当する範囲が違います。機器を持たないことを、運用作業がすべてなくなることと混同しないようにします。

Microsoftの責任分界の資料でも、利用する形によって管理範囲が変わる一方、データやアカウントの管理は利用側にも残ると説明されています。退職者のアクセス停止や、資料を見せる範囲の設定などは、自社で担当を決めておきたい作業です。

自社設置では電源と担当者まで含める

自社に機器を置く場合は、電源、排熱、騒音、通信、設置場所を予定する構成で確認します。すべての機種に200V電源や液冷が必要というわけではなく、仕様と施設の両方を見る必要があります。

GPUだけでなく、データを準備するCPU、主メモリ、保存装置も関係します。ソフトウェアの更新、故障時の対応、データの復旧まで担当が決まらなければ、機器が届いても仕事で使い続けられません。

借りる方法の違いや終了時のデータの扱いは、GPUサーバーのレンタルと契約の確認点で整理しています。技術構成は提供事業者に、情報管理の条件は社内の担当者にも確認します。

小さな検証から導入と資金計画へ進める

必要な仕組みが見えてきたら、購入前に小さく試します。生成された回答を見て終わりにせず、実際の作業がどこまで減り、どんな手直しが残るかを測ると判断しやすくなります。

実際の質問で品質と待ち時間を測る

はじめは機密性のないサンプルで、代表的な質問と確認用の答えを用意します。その後、許可されたデータの範囲で、長い入力や同時利用も含めた試験へ進めます。画像生成なら、画像の大きさや生成設定もそろえます。

評価するのは回答までの秒数だけではありません。回答の正しさ、資料の参照先、修正にかかる時間、人による確認の負担も含めます。合格とする条件を先に決めておけば、改善を続けるか、別の方法へ替えるかも選びやすくなります。

同じ期間の総支出を比べる

同じ期間に、同じ量の仕事を、必要な品質と速さで処理する条件をそろえて比較します。利用者数や質問数が違う見積もりは、そのまま並べず、同じ条件に直してから費目を比べます。

表は横にスクロールできます

たとえば説明用の仮の数字として、毎月50時間の作業を置き換えても、回答の確認と修正に20時間かかるなら、差は30時間です。50時間すべてが減るわけではなく、その30時間がそのまま現金の利益になるわけでもありません。

利用頻度がまだわからない段階では、サービスや借用で検証してから購入を判断する方法があります。長く使うだけで購入が有利とは限らないため、比較期間と必要な機能、運用の担当をそろえます。価格の見方はGPUサーバーの価格と総費用もあわせて確認できます。

税金の扱いと残す現金は別に確認

代金を払うと会社の口座からお金が出ます。一方、「損金」は、法人税を計算する際に会社の収益から差し引く費用などの額です。損金によって税金計算のもとになる所得が小さくなりますが、税額から購入代金を直接引くという意味ではありません。

購入した設備が減価償却資産に当たる場合は、設備代を税務上のルールに沿って年ごとに分けて損金にする「減価償却」が関係します。このため、購入時に払う金額と、その年に差し引く額は一致するとは限りません。

通常のサービス利用費も、請求や支払の日付だけで決めるものではありません。期末までに支払う義務が生じ、契約に基づくサービスの提供など費用が発生する事実があり、金額を合理的に計算できるかなどを確認します。税務では、こうした条件を「債務確定」といいます。

翌期に受けるサービスの分まで先に払った場合、その未利用分は原則として支払年の費用にせず、いったん資産として記録し、サービスを受けた時期の損金にします。これが前払費用の基本的な扱いです。

「短期前払費用」という例外もありますが、支払日から1年以内のサービスかどうかに加え、継続した処理などの条件があります。収益と対応させる必要のある費用などは対象外となるため、「年払いなら全額を今期の経費」と判断せず、契約と提供期間を税理士に伝えます。

根拠は国税庁のNo.5410 償却限度額の計算方法、No.5387 債務確定の判定、No.5380 短期前払費用です。優遇税制を含む詳しい条件は、GPUサーバー節税の確認点でも整理しています。

損金が増えても、その金額が丸ごと税金として戻るわけではありません。業務に必要な投資か、支出後に本業の資金を残せるかを先に確かめ、税金の扱いを別に確認する順番が大切です。

生成AIとGPUサーバーのよくある質問