社外にデータを出せない場合のAI構成 — 全部セルフホストで組む

構成要素は5つ

最も判断が要るのがここである。OSSモデルを自社GPUで動かすと、GPU の調達・運用と、モデル性能が商用の最新モデルに劣ることを受け入れることになる。

もう1つの道は、国産LLMのライセンス提供を受けて自社環境で動かすことである。PLaMo や tsuzumi はこの形を取っており、日本語の品質とサポートが得られる代わりに、ライセンス交渉が必要になる。

判断の順序は、使えるGPUを先に決めて、それに収まるモデルから選ぶほうが現実的である。モデルを先に決めると、調達リードタイムで計画が崩れる。

本当にすべて自前にする必要があるか

最初に確かめるべきは、制約が本当に「すべて」に及ぶかである。よくあるのは次の中間案で、どれかで要件を満たせることが多い。

• モデルだけ外部、検索と文書は社内（文書本体は出ないが、抜粋はプロンプトに乗る）
• 入力データを学習に使わない契約を結んだうえで外部APIを使う
• 国内リージョン限定のマネージドサービスを使う
• 匿名化・マスキングしてから外部に出す

完全な自前運用はコストが跳ね上がるので、どこまでが本当の制約かを法務と情シスに確認してから設計に入る。「なんとなく不安だから全部社内」で始めると、運用できずに止まる。

負う責任

• アップデート（脆弱性対応を含む）
• バックアップと復旧手順の検証
• 障害時の一次対応
• GPU を使う場合はドライバとランタイムの管理
• 容量の監視と増設

最も見落とされるのが、これを担える人が複数いる状態を作ることである。1人しか中身を知らない構成は、その人が休めなくなり、異動したら誰も触れなくなる。業務自動化が止まる原因の多くはこれである。

段階を踏む

• 1. 評価：クラウドのマネージドで動くものを作り、効果を確かめる（データはダミーで）
• 2. 要件確定：本番データで何が制約されるかを法務・情シスと詰める
• 3. 移行：制約に触れる層だけを自前に寄せる
• 4. 全面自前化は、3でも足りない場合にだけ進む

1を飛ばして自前構築から入ると、作ったものが役に立つかどうかを確かめる前に数ヶ月が過ぎる。ダミーデータでよいので、まず価値を確認してから制約に対処する順序のほうが早い。

よくある質問

Q. どれくらいの費用がかかりますか。

A. GPU を使うかどうかで桁が変わります。検索と前処理とアプリ基盤だけなら、一般的なサーバー1台で動きます。モデルを自社で動かすなら GPU の調達費用と電力、運用人件費が乗り、クラウドのAPI利用料より高くつく規模は珍しくありません。

Q. 最初から全部 OSS で組むべきですか。

A. 勧めません。マネージドで価値を確認してから、制約に触れる層だけを移すほうが失敗が少ないです。全面自前化は、中間案で要件を満たせないと確認できてからで十分です。