AIエージェントが壊れる5つのパターン

1. 部分的な成功

10件の処理を頼んで、7件成功し3件失敗したが、全体として「完了」と報告される。失敗した3件が何だったかが分からない。

対策は、件数を自分で数えることである。入力の件数と出力の件数を比べて、合わなければ止める。エージェントの自己報告を信用しない。

長い処理の途中で、最初の指示が効かなくなる。「日本語で」と指示したのに後半が英語になる、形式を指定したのに途中から崩れる。

対策は、処理を短く切ることである。1回の実行で扱う量を減らし、指示を毎回与え直す。長く続ける構成そのものが原因になる。

3. 同じ失敗の繰り返し

うまくいかない方法を何度も試す。エラーが出たら別の方法を試すべきところで、同じことを繰り返して時間と費用を消費する。

対策は、試行回数の上限を設けることである。3回失敗したら止めて人に渡す。回数の制限がないと、費用が読めなくなる。

4. 前提の取り違え

指示の解釈を間違えたまま、整合的に処理を進める。全部の出力が一貫して間違っているので、1件だけ見ても気づけない。

対策は、最初の1件を人が確認してから残りを流すことである。100件を一度に流すのではなく、1件、10件、残り、という順序にする。

5. 外部の変化への無反応

連携先の仕様が変わった、画面の構造が変わった、認証が切れた。エージェントはそれを「今日はデータがなかった」として処理を終える。

対策は、ゼロ件や異常な件数を検知することである。「毎日10件前後のはずが0件」は異常として通知する。正常終了を信用しない。

監視の設計

費用の上限を必ず設ける

ループに入ったエージェントは、止めるまでAPIを呼び続ける。日次または月次の上限を設定し、超えたら実行を止める構成にする。これを設定していない状態で本番に出さない。

よくある質問

Q. どこから監視を入れるべきですか。

A. 費用の上限です。設定が最も簡単で、放置した場合の損害が最も大きい項目です。