Modal vs Baseten — AIの実行基盤は課金の単位で選ぶ

結論

• 不定期のバースト処理 → Modal（秒課金・待機に払わない・月$30無料）
• 常時トラフィックのある推論 → Baseten（分課金・専有デプロイ）
• どちらも Python のコードをそのまま動かせる

単純な時間単価では Modal のほうが安い。ただし Baseten は Model APIs としてトークン課金の窓口も持っており、自前のモデルを立てずに済む分だけ運用が軽い。

2. 待機時間の扱いが分かれ目

Modal は秒課金で、リクエストが来ていない間は課金されない。1日に数回しか呼ばれないバッチや、社内向けの不定期な処理では、常時起動のインスタンスを持つより圧倒的に安い。

一方、コールドスタートの時間は発生する。初回のリクエストでモデルをロードする数十秒を、ユーザーが待てるかどうかで判断が変わる。ユーザー向けの同期処理では辛い。

3. Baseten の Model APIs

Baseten は自分でモデルをデプロイする前に、既製のモデルをトークン課金で呼べる窓口を持つ。GPT OSS 120B が100万トークンあたり入力$0.10・出力$0.50といった形で、まず動くものを作るには速い。

専有デプロイに移るのは、レイテンシを詰めたい場合か、カスタムモデルを動かす場合である。この2段構えがあるのは Baseten の利点で、Modal は最初から自分でコードを書く前提になる。

4. どちらでもない選択

そもそも GPU を借りる必要があるかを先に確かめる。OSS モデルを動かす理由が「商用APIを使えない」ならその通りだが、「安そうだから」なら計算が合わないことが多い。Together AI や Fireworks のサーバーレス推論は、トークン課金で自前運用より安く済む規模が広い。

よくある質問

Q. コールドスタートはどれくらいですか。

A. モデルのサイズと初期化の実装によります。数十秒かかることもあるので、ユーザーが同期で待つ処理には向きません。Modal はコンテナを温める仕組みも持つので、公式のドキュメントで現在の方法を確認してください。

Q. GPU は本当に必要ですか。

A. 商用APIが使えない事情がなければ、多くの場合は不要です。サーバーレス推論のトークン課金のほうが、自前でGPUを借りるより安く済む規模は広いです。