RAGか微調整か——知識統合の選び方

📁私たちが選んでいるのは「都度読ませる」構成

モデル自体を作り変えるのではなく、必要な知識をその都度渡す形にしています。

私たちは、社内のルールや過去の判断の記録をファイル（Markdown等）としてリポジトリに置き、AIエージェントが作業を始める際にそれらを読み込んでから判断させる、という構成を取っています。モデル自体を独自にトレーニングし直す（微調整する）のではなく、汎用のモデルに毎回必要な文脈を渡す形です。

✏️この構成を選んでいる理由: 更新のしやすさ

知識やルールは頻繁に変わるため、ファイルを書き換えるだけで反映できることを重視しています。

社内のルールや判断基準は、運用しながら頻繁に見直しが入ります。モデルを微調整する構成だと、知識を更新するたびに再学習の手間とコストが発生します。私たちが選んでいる、ファイルを都度読ませる構成であれば、該当のファイルを編集するだけで、次にAIが作業する時にはすぐ新しい内容が反映されます。この更新の手軽さが、日々ルールを直しながら運用する一人会社の実務に合っていると感じています。

🔍この構成を選んでいる理由: 出典が追える

AIの判断が「どのファイルのどの記述に基づいているか」を後から確認できることを重視しています。

モデルを微調整すると、学習後の重みの中に知識が溶け込んでしまい、ある判断がどの学習データに基づくものかを後から特定するのは難しくなります。ファイルを都度読ませる構成なら、AIが参照した具体的なファイルとその内容を、人間が後から確認できます。判断の根拠を追跡できることは、AIに任せる範囲を広げるうえで欠かせない前提だと考えています。

⚖️微調整が向く場面もある、という前提

知識の更新頻度が低く、大量の事例から独自の「話し方」を学ばせたい場合は、微調整のほうが向く可能性があります。

私たちの用途では、ルールが頻繁に変わり、判断の根拠を追跡できることを重視するため、都度読ませる構成を選んでいます。一方で、めったに変わらない大量の専門知識をモデル自体に内在化させたい場合や、特定の文体・口調を安定して再現したい場合は、微調整が適した選択になりうると考えています。どちらが正しいというより、知識の更新頻度と、判断根拠を追跡する必要性の高さで、選ぶべき構成が変わるという理解です。

あなたの場合はどちらでしょうか。目安として:

• 知識やルールの更新頻度が高い（週次・月次で変わる）→ 都度読ませる構成が向きます
• AIの判断根拠を人間が後から追跡する必要がある→ 都度読ませる構成が向きます
• 知識がめったに変わらず、特定の文体・口調の再現を重視する→ 微調整が向く可能性があります

🧭まとめ: 更新頻度と追跡可能性で選ぶ

• 私たちは社内知識をファイルとして都度読ませる構成を選んでいる
• 理由は更新のしやすさと判断根拠を追跡できることの2点
• 知識の更新頻度が低く文体の再現を重視する場合は微調整が向く可能性もある

知識統合の方法は、どちらか一方が常に正しいわけではなく、運用の頻度と追跡可能性の必要度で選ぶものだと考えています。

❓よくある質問

📚参考・出典

• Anthropic: Introducing Contextual Retrieval（2024-09-19）（チャンクに説明的な文脈を付けることで、上位20チャンクの検索失敗率が35%減（5.7%→3.7%）、BM25併用で49%減（5.7%→2.9%）、リランキング追加で67%減（5.7%→1.9%）とAnthropicが自社実験の数値を公表している）
• Anthropic: Context windows（モデルが一度に扱える文脈量についての公式ドキュメント）