AIに分析させた結果を信用できる形にする

揺れる原因

• 生成されるSQLが毎回同じでない（結合の仕方、条件の解釈）
• 「先月」「アクティブ」などの語の解釈が実行ごとに変わる
• 空欄や重複の扱いが明示されていない
• モデルのバージョンが更新されている

最も影響が大きいのは2番目である。「アクティブユーザー」が何を指すかの定義がデータ側に無いと、AIは毎回それらしい定義を作る。

定義を書く

最低限、以下は文書化してAIに渡す。この文書があるだけで揺れが大きく減る。

• 期間の区切り（月初・月末の定義、タイムゾーン）
• 除外する行（テストデータ、社内アカウント、キャンセル）
• 主要な指標の計算式（MRR、アクティブ、継続率）
• テーブルの結合キーと、重複が起きる箇所

SQLを資産にする

生成されたSQLが正しいと確認できたら、それを保存して名前をつける。次回は生成させずに、保存したものを実行する。AIは新しい質問にだけ使う。

これを繰り返すと、定例の数字は固定のクエリ、新しい質問はAI、という構成になる。定例の数字が揺れなくなり、説明もできる。

検算の方法

重要な数字は、別の経路で1回確かめる。合計を別の集計単位で出して一致するか、前月と比べて不自然な変化がないか。AIが出した数字をそのまま報告に載せる前に、桁が合っているかだけでも見る。

報告書への書き方

AIが生成した分析を報告に使う場合、どの範囲のデータを対象にしたかと、算出方法を併記する。「AIで分析した」と書く必要はないが、再現できる情報は残す。

よくある質問

Q. 定義の文書はどこに置きますか。

A. ツールがシステムプロンプトやコンテキストの設定を持っていればそこに、無ければ毎回の質問の冒頭に貼ります。手間ですが、揺れを消す効果が最も大きい工程です。