チャット回答にナレッジを効かせる — 検索の仕組みと改善のコツ
チャット回答にナレッジを効かせる — 検索の仕組みと改善のコツ
オーナーが「ナレッジを書いたのにチャットの回答に出てこない」「根拠ナレッジのアイコンが付かない」と感じたときの原因の切り分けと、改善の手順をまとめます。
数字の見方(参照回数・引用数・採用率)は「ナレッジ指標の読み方」(No.5.8)。執筆の基本は「ナレッジの書き方と設計」(No.5.3)、プロンプト設計は「エージェント設計」(No.6.1)を参照。
チャットはどうナレッジを使うか(3 段階)
flowchart LR
Q["ユーザーの質問"] --> S["① 意味検索で候補を選ぶ"]
S --> P["② 候補本文を AI に渡す"]
P --> A["③ 回答+主な根拠 1 件を生成"]
| 段階 | 何が起きるか | オーナーが見られるもの |
|---|---|---|
| ① 候補選定 | 質問文(と直近の会話)に意味的に近いナレッジを最大 8 件程度まで集める。本文の合計はおおよそ 12,000 トークンまで(超えるページは後ろから省略されることがある) | 利用分析の 候補数(No.5.8) |
| ② 回答生成 | エージェントのプロンプトと候補ナレッジを AI に渡し、Markdown 回答を作る | チャット上の回答本文 |
| ③ 根拠の確定 | AI が候補の中から主な根拠 1 件だけを選ぶ。候補外の ID は採用されない(誤リンク防止) | 発言横の 「ナレッジ」 アイコン(No.4.1)。利用分析の 引用数 |
プロンプトだけでは詳細知識は補えません。 プロンプトは文体・役割の枠組み、ナレッジは回答の根拠です(No.6.1)。
一覧検索とチャット検索は別
| 場面 | 検索の種類 |
|---|---|
| ナレッジ一覧の検索欄 | ハイブリッド(意味検索 + タイトル・本文・タグのキーワード一致)。本文一致は装飾記号を除いた検索用テキストに対して行うため、強調・リンク記法が語に挟まっていても画面で見える語でヒット。検索中は関連度順に並ぶ |
| チャット回答の候補選定 | 意味検索(質問と本文の意味の近さ) |
一覧でヒットしてもチャット候補に載らない、またはその逆があり得ます。代表質問をチャットで試すのが確実です。
よくある原因と対処
| 症状 | よくある原因 | 対処 |
|---|---|---|
| 回答は返るが根拠アイコンが無い | 候補に載ったが AI がどの 1 件も主根拠に選ばなかった/あいさつ・雑談系 | 質問を具体化。該当ページの見出し・冒頭にキーワードを置く(下記コツ) |
| 全然違う内容で答える | 候補に別ページが上位に来ている/プロンプトがナレッジ外の推測を許している | プロンプトに「ナレッジにないことは推測しない」を明記。競合ページを統合・分割 |
| 書いた直後に効かない | 保存直後は検索インデックス反映に数十秒かかることがある | 少し待ってから同じ質問を再送 |
| 長い 1 ページだけ効かない | トークン予算で本文の後半が候補に入らない | 見出し単位で複数ナレッジに分割(No.2.8 のトークン上限参照) |
| 固有名詞・製品名だけヒットしない | 意味検索は言い回しの違いに強いが、表記ゆれで弱いことがある | タイトル・見出し・タグに正式名称と略称を併記 |
| 候補数は多いが引用数が少ない | 候補に載るが採用されにくい(採用率が低い) | 利用分析の赤字行を確認(No.5.8)。本文を質問者の言葉に近づけて書き直す |
効かせるための執筆コツ
1. タイトルと見出しに「質問されそうな語」を入れる
ユーザーがチャットに打ちそうな言葉を、タイトルと最初の見出し付近に含めます。
| 悪い例 | よい例 |
|---|---|
| 「手順その2」 | 「Teams ボットシークレットの発行手順」 |
| 「補足」 | 「保存がブロックされたとき(モデレーション)」 |
2. タグでテーマを補強する
タグは一覧の絞り込みに加え、検索の手がかりになります。1 ナレッジあたり 3〜8 個、ユーザーが検索しそうな語を入れます(No.5.3)。
3. 1 トピック 1 ページ(長文は分割)
1 ページに複数テーマを詰め込むと、意味検索で別テーマの質問にも候補に載りやすくなり、選択率が下がります。章立て(No)と関連ナレッジリンクでつなぎます。
4. 関連ナレッジをリンクする
孤立ページ(関連 0 件)はヘルスチェック(🩺)で指摘されます(No.5.7)。近いテーマ同士をリンクすると、執筆者・AI の両方が文脈を辿りやすくなります。
5. プロンプトで「ナレッジ優先」を明示する
例: 「回答は必ずエージェントのナレッジを根拠にすること。記載が無い場合は推測せずその旨を伝える」(No.6.1 の例文参照)。
改善の確認手順(オーナー向け)
- 代表質問を 3〜5 個決める — 利用者が実際に聞きそうな文で
- チャットで送信 — 回答と「ナレッジ」アイコンの有無を確認(No.4.1)
- ナレッジ一覧の検索欄 — 同じキーワードで意図したページが出るか確認(No.5.1)
- 利用分析— 候補数・引用数・採用率を 7〜30 日で見る(No.3.4・No.5.8)。「フィードバック・未回答質問」カードの未回答フィルタも確認するとナレッジ追加の手がかりになる
- 直したら再テスト — 採用率 20% 未満の赤字行が減るか確認
運用サイクルへの組み込み
定期レビュー(No.5.4)の Step「チャットで想定質問を試す」とセットで使うと、指標と体感が一致しやすくなります。