社内LLM基盤 — 国産SaaSで買うか、Azure で組むか

解こうとしている問題

能力の問題ではない。社員100人がそれぞれ個人契約でAIを使っている状態が統制できないという問題である。監査ログがなく、全社の方針が適用できず、どのデータが外に出たかを答えられない。

この問題に対して、SaaSを買う場合と自分で組む場合で、必要になるものが違う。

分岐点は人員である

自社構築が安く見えるのは、作る工数と運用の工数を数えていないからである。管理画面、権限管理、利用量の可視化、文書のインデックス更新。これを誰が持つのかを決められないなら、SaaSを買うほうが総額で安くなる。

逆に、すでにAzure上にシステムを持ち、インフラを見る人員がいる組織では、自社構築の自由度が効く。モデルの切り替え、独自のRAG、既存システムとの統合が自分の判断でできる。

社内文書検索の質は文書側で決まる

どちらを選んでも、社内文書を検索させる場合の品質は文書の整理状態に従う。古い規程と新しい規程が同じフォルダにあれば、AIは古いほうを自信を持って引用する。

導入前にやるべきことは、どちらを買うかを決めることではなく、参照させる文書の範囲を決めて、その中の古い版を消すことである。

費用の見積もり方

SaaS は1人あたりの定額なので、人数を掛ければ出る。自社構築はトークン従量なので、使用量の見積もりが必要になる。1人が1日10回、1回3,000トークン程度使うと仮定して、人数と営業日数を掛けると概算が出る。

この概算がSaaSの定額を下回る場合でも、運用工数の人件費を足すと逆転することが多い。人月換算を忘れないこと。

よくある質問

Q. まずどちらから試すべきですか。

A. SaaSです。構築を待たずに1ヶ月で実際の利用状況が分かります。その実績を見てから自社構築の是非を判断すれば、見積もりの精度が上がります。

Q. SaaSから自社構築に移せますか。

A. 利用実績のデータは移せますが、プロンプトの履歴や設定は移せないことが多いです。最初から長期で使うつもりなら、どちらに寄せるかを決めてから始めてください。