Skip to main content

チャット回答にナレッジを効かせる — 検索の仕組みと改善のコツ

チャット回答にナレッジを効かせる — 検索の仕組みと改善のコツ

オーナーが「ナレッジを書いたのにチャットの回答に出てこない」「根拠ナレッジのアイコンが付かない」と感じたときの原因の切り分けと、改善の手順をまとめます。

数字の見方(参照回数・引用数・採用率)は「ナレッジ指標の読み方」(No.5.8)。執筆の基本は「ナレッジの書き方と設計」(No.5.3)、プロンプト設計は「エージェント設計」(No.6.1)を参照。

チャットはどうナレッジを使うか(3 段階)

flowchart LR
  Q["ユーザーの質問"] --> S["① 意味検索で候補を選ぶ"]
  S --> P["② 候補本文を AI に渡す"]
  P --> A["③ 回答+主な根拠 1 件を生成"]
段階 何が起きるか オーナーが見られるもの
① 候補選定 質問文(と直近の会話)に意味的に近いナレッジを最大 8 件程度まで集める。本文の合計はおおよそ 12,000 トークンまで(超えるページは後ろから省略されることがある) 利用分析の 候補数(No.5.8)
② 回答生成 エージェントのプロンプトと候補ナレッジを AI に渡し、Markdown 回答を作る チャット上の回答本文
③ 根拠の確定 AI が候補の中から主な根拠 1 件だけを選ぶ。候補外の ID は採用されない(誤リンク防止) 発言横の 「ナレッジ」 アイコン(No.4.1)。利用分析の 引用数

プロンプトだけでは詳細知識は補えません。 プロンプトは文体・役割の枠組み、ナレッジは回答の根拠です(No.6.1)。

一覧検索とチャット検索は別

場面 検索の種類
ナレッジ一覧の検索欄 ハイブリッド(意味検索 + タイトル・本文・タグのキーワード一致)。本文一致は装飾記号を除いた検索用テキストに対して行うため、強調・リンク記法が語に挟まっていても画面で見える語でヒット。検索中は関連度順に並ぶ
チャット回答の候補選定 意味検索(質問と本文の意味の近さ)

一覧でヒットしてもチャット候補に載らない、またはその逆があり得ます。代表質問をチャットで試すのが確実です。

よくある原因と対処

症状 よくある原因 対処
回答は返るが根拠アイコンが無い 候補に載ったが AI がどの 1 件も主根拠に選ばなかった/あいさつ・雑談系 質問を具体化。該当ページの見出し・冒頭にキーワードを置く(下記コツ)
全然違う内容で答える 候補に別ページが上位に来ている/プロンプトがナレッジ外の推測を許している プロンプトに「ナレッジにないことは推測しない」を明記。競合ページを統合・分割
書いた直後に効かない 保存直後は検索インデックス反映に数十秒かかることがある 少し待ってから同じ質問を再送
長い 1 ページだけ効かない トークン予算で本文の後半が候補に入らない 見出し単位で複数ナレッジに分割(No.2.8 のトークン上限参照)
固有名詞・製品名だけヒットしない 意味検索は言い回しの違いに強いが、表記ゆれで弱いことがある タイトル・見出し・タグに正式名称と略称を併記
候補数は多いが引用数が少ない 候補に載るが採用されにくい(採用率が低い) 利用分析の赤字行を確認(No.5.8)。本文を質問者の言葉に近づけて書き直す

効かせるための執筆コツ

1. タイトルと見出しに「質問されそうな語」を入れる

ユーザーがチャットに打ちそうな言葉を、タイトル最初の見出し付近に含めます。

悪い例 よい例
「手順その2」 「Teams ボットシークレットの発行手順」
「補足」 「保存がブロックされたとき(モデレーション)」

2. タグでテーマを補強する

タグは一覧の絞り込みに加え、検索の手がかりになります。1 ナレッジあたり 3〜8 個、ユーザーが検索しそうな語を入れます(No.5.3)。

3. 1 トピック 1 ページ(長文は分割)

1 ページに複数テーマを詰め込むと、意味検索で別テーマの質問にも候補に載りやすくなり、選択率が下がります。章立て(No)と関連ナレッジリンクでつなぎます。

4. 関連ナレッジをリンクする

孤立ページ(関連 0 件)はヘルスチェック(🩺)で指摘されます(No.5.7)。近いテーマ同士をリンクすると、執筆者・AI の両方が文脈を辿りやすくなります。

5. プロンプトで「ナレッジ優先」を明示する

例: 「回答は必ずエージェントのナレッジを根拠にすること。記載が無い場合は推測せずその旨を伝える」(No.6.1 の例文参照)。

改善の確認手順(オーナー向け)

  1. 代表質問を 3〜5 個決める — 利用者が実際に聞きそうな文で
  2. チャットで送信 — 回答と「ナレッジ」アイコンの有無を確認(No.4.1)
  3. ナレッジ一覧の検索欄 — 同じキーワードで意図したページが出るか確認(No.5.1)
  4. 利用分析— 候補数・引用数・採用率を 7〜30 日で見る(No.3.4・No.5.8)。「フィードバック・未回答質問」カードの未回答フィルタも確認するとナレッジ追加の手がかりになる
  5. 直したら再テスト — 採用率 20% 未満の赤字行が減るか確認

運用サイクルへの組み込み

定期レビュー(No.5.4)の Step「チャットで想定質問を試す」とセットで使うと、指標と体感が一致しやすくなります。