推論の速さは何に効くか — 遅延がUXを決める場面

速さが効く3つの場面

音声対話

電話や音声アシスタントでは、0.5秒の沈黙が長く感じられる。文字起こし・モデル推論・音声合成を順に通すため、各段の遅延が積み上がる。ここでは賢さより応答の速さが体験を決める。

オートコンプリート

コード補完や文章の予測入力は、タイプの速度を超えた瞬間に使われなくなる。提案が出るのが遅ければ、ユーザーは自分で打ち切ってしまう。Supermaven が補完に特化して速度を売りにしているのはこの理由である。

多段のエージェント

検索・判断・ツール呼び出し・生成と5段を通る処理では、1段2秒でも全体が10秒になる。各段が賢い必要はないので、判断の段を速いモデルに替えるだけで体感が変わる。

• 最初のトークンが出るまでの時間（プロンプトが長いほど伸びる）
• トークンの生成速度（出力が長いほど効く）
• ネットワークの往復（リージョンが遠いと効く）
• 前後の処理（検索、文字起こし、音声合成）

長いプロンプトは最初のトークンまでの時間を延ばす。RAG で20件渡しているのを5件にすると、費用だけでなく体感速度も改善する。

速くする手段とトレードオフ

まずストリーミングを入れる

実装コストが低く効果が大きいのがストリーミングである。全部生成し終わってから表示するのをやめ、生成されたそばから出す。総時間は変わらないが、ユーザーが待たされていると感じる時間は数分の一になる。

ただし音声では事情が違う。読み上げ始めてから言い直せないので、文単位で区切って合成に回す設計が要る。

測ってから手を打つ

どこで時間がかかっているかを測らずに速いモデルへ替えると、実は検索が遅かった、という結末になる。観測ツールで各段の所要時間を記録してから、一番長い段に手を入れる。

よくある質問

Q. 速いモデルは品質が低いのですか。

A. 一般に小さいモデルほど速く、複雑な推論は弱くなります。ただし分類や抽出のような単純なタスクでは差が出ないので、段ごとに使い分けるのが現実的です。

Q. 日本語だと遅くなりますか。

A. 同じ内容を表すのに必要なトークン数がモデルによって異なり、日本語で多くなる場合があります。トークナイザの違いで体感速度が変わることがあるので、実測で比べてください。