RAG の答えが悪い原因は前処理にある — 解析とチャンクの直し方

最初にやること：解析結果を目で見る

検索やプロンプトを触る前に、投入した文書がどう解析されたかをそのまま出力して読む。これだけで問題の半分は見つかる。よくあるのは次の4つである。

• 複数段組が行単位で混ざり、文が意味をなさなくなっている
• 表が1行の文字列になり、列の対応が失われている
• ヘッダーとフッターが全ページに混入し、検索のノイズになっている
• スキャンしたPDFが画像のままで、本文が1文字も取れていない

4つめは特に気づきにくい。文書は投入できていて、エラーも出ず、ただ中身が空なだけなので、検索結果が「それらしい別の文書」になる。

単純なテキストPDFなら、ライブラリで足りる。手間をかける価値があるのは、表が多い文書、段組のある文書、スキャン画像が混ざる文書である。

Unstructured は最初の1万ページが無料で、以降は1ページ$0.015。LlamaIndex の LlamaParse は月1万クレジットの無料枠がある。どちらも評価に十分な量なので、自社の一番ひどい文書を通して比べるのが早い。きれいな文書はどのツールでも通るので、比較の材料にならない。

チャンク分割の決め方

文書を細かく切ると文脈が失われ、大きく切ると関係のない部分まで検索に引っかかる。目安は文書の構造で変える。

メタデータを付けておく

チャンクに文書名・章・更新日・公開範囲を付けておくと、後から効いてくる。「最新の規程だけを検索する」「自部署の文書に限る」といった絞り込みが、インデックスを作り直さずにできる。

特に公開範囲は最初から入れておく。後から権限を付けようとすると、索引の作り直しになる。

更新の手順を決める

最も多い運用上の失敗は「答えが古い」である。投入した文書が更新されても索引は追随しない。半年後には、誤った内容を自信をもって答えるボットになる。

対策は仕組みというより運用で、更新を誰の業務に入れるかを決めることに尽きる。元文書の更新と同時に再投入するフローを作れないなら、少なくとも四半期ごとの棚卸しを予定に入れる。

直す順序

• 1. 解析結果を目で読む（ここで半分は見つかる）
• 2. 解析ツールを変えるか調整する
• 3. チャンクの単位を文書構造に合わせる
• 4. メタデータを付けて絞り込めるようにする
• 5. ここまでやってからプロンプトと検索の調整に進む

5を最初にやるチームが多いが、1〜4に問題があると効果が出ない。順序を逆にすると、何が効いたのか分からないまま時間が溶ける。

よくある質問

Q. チャンクサイズは何文字が正解ですか。

A. 正解はありません。文書の構造で決めます。固定長で切るしかない場合、日本語なら400〜800文字程度から試して、検索結果を見ながら調整してください。

Q. 埋め込みモデルは変えるべきですか。

A. 前処理を直してからにしてください。モデルを変えると索引の作り直しになるので、効果が出るか分からない段階で手を付けるのは高くつきます。