社内AIチャットが外す理由はチャンク設計

結論:精度が出ない原因の多くはチャンク設計

社内向けのAIチャットや問い合わせ自動応答（この技術をRAG＝検索して根拠を持たせてから答えさせる仕組み、と呼びます）を組んだとき、回答がずれる原因の大半は「AIの頭が悪い」ことではありません。私がうちで整理した結論は、精度の7割は文章をどう切り分けるか＝チャンク設計で決まる、ということです。AIモデルを高いものに変えても、切り方が雑なままなら結果は変わりません。まず直すべき場所を間違えないことが、投資を無駄にしない一番の近道です。

なぜチャンク設計で精度が決まるのか

RAGは大きく5つのブロックで動きます。①資料を取り込む→②前処理する→③チャンク化（文章を検索しやすい単位に切る）する→④Embedding（文章を数値に変換する処理）してVector DB（その数値を検索できるように保存する場所）に入れる→⑤検索して回答を生成する、という流れです。

このうち①②④⑤は仕組みが決まればほぼ自動で回ります。ところが③のチャンク化だけは、どの資料をどの長さで、どこで区切るかという「設計判断」が残ります。ここが雑だと、検索の入口でつまずくので、後工程のAIがどれだけ賢くても正しい根拠にたどり着けません。私はここを、2025年12月にRAGの解説を整理した際に改めて確認しました。

具体的な基準はこうです。

項目	私が使っている基準
1チャンクの長さ	300〜800文字（日本語）
切る単位	見出し（H2/H3）や章・項目の単位で切る
表の扱い	崩れやすいので行単位で別扱いにする
つなぎ目	前後を少し重ねる（オーバーラップ）
付随情報	source／title／updated_at／category／urlを必ず持たせる

見出し単位で切るのは、意味のかたまりごとに検索させるためです。表を本文と同じ扱いで切ると、行がバラバラになって「誰の予約が何時か」のような情報がねじれます。ここを分けるだけで、検索結果の質が変わります。

検索の精度をさらに上げるには、キーワード検索とベクトル検索を組み合わせるハイブリッド検索と、検索結果の順位を並べ直すRerank（再採点）を入れると、精度が一気に上がります。あわせて、プロンプト側にも鉄則を置いています。「根拠は引用する」「根拠にないことは推測しない」「不明なら不足情報を質問する」の3つです。これはAIに丸投げしないための、人間側の設計です。

具体例:うちで社内FAQをAIチャット化したときの手順

私はうちで、社内のよくある問い合わせをAIチャット化する取り組みを進めています。方針は「AIが勝手に作文する」のではなく「参照先も返す」形にすることです。答えだけでなく、根拠になった資料名やURLも一緒に返すようにしています。これは、担当者が「本当にこの答えで合っているか」を確認できるようにするためで、ハルシネーション（AIがもっともらしい嘘を作ってしまうこと）が起きたときにすぐ気づける仕組みでもあります。

実装の順番も、いきなり全社展開はしません。私が採っている段階は次の3段階です。

PoC（試作）1週間:資料20ファイルほどで小さく組んで動かしてみる
業務導入1ヶ月:実際の業務で使いながら精度を確認する
運用強化3ヶ月:使われ方を見ながらチャンクの切り方や検索方法を調整する

このとき欠かせないのが評価セットです。「よく聞かれる質問」を30〜100件ほど用意して、実際に正しく答えられるかをテストします。これがないと、動くけれど現場では使えない、という状態で止まってしまいます。私はこの評価セットを作る手間を惜しまないようにしています。ここを飛ばすと、後から「なぜ精度が悪いのか」を切り分けられなくなるからです。

今すぐできる一歩

チャンク設計を細かく学ぶ前に、まずやるべきことがあります。それは「RAGで答えたい質問を20個」「その根拠になる資料を10個」書き出すことです。これができていないと、どれだけチャンクの切り方を工夫しても、そもそも何を検索させたいのかが曖昧なままになります。私はどんな業務効率化の相談でも、最初にこの2つのリストから作ってもらうようにしています。書き出す作業自体に、実は自社の業務のどこが曖昧なのかが見えてくるという副産物もあります。

まとめ

RAGの精度は、AIモデルの性能よりチャンク設計（文章の切り方）で決まる部分が大きい
見出し単位で切る、表は別扱いにする、参照元を必ず返す、の3つが実務では効いてくる
導入はいきなり全社展開せず、PoC1週間→業務導入1ヶ月→運用強化3ヶ月の順で小さく進める

チャンク設計は地味な作業ですが、ここを丁寧にやるかどうかで現場の信頼が変わります。焦らず、ちばりよーの気持ちで一つずつ整えていくことをおすすめします。