意味で探す検索とキーワード検索の違い。言い換えに強い方式と、型番を取りこぼさない方式

「言い換えても見つかる」と「一字違いで見つからない」

社内資料をAIに探させると、表現を変えても目当ての資料が出てくることがあります。その一方で、型番や人名を正しく入れたのに、関係の薄い資料ばかり並ぶこともあります。どちらが起きるかは、裏側で使われている検索方式によって変わります。

RAGは「資料を探してから答える」しくみですが、答えの質は最初の「探す」段階で大きく左右されます。この記事では、その検索の中身に絞り、意味で探す検索、キーワード検索、両者を組み合わせるハイブリッド検索の違いを整理します。根拠にしたのはOpenAIとMicrosoftの公式ドキュメントです。実際に検索システムを動かして比べた結果ではなく、仕組みと選び方の考え方をまとめたものとして読んでください。

意味で探す検索は、文章を数字の並びにして距離を測る

意味で探す検索（ベクトル検索）では、文章をエンベディングと呼ばれる数値の並び（ベクトル）に変換します。OpenAIのドキュメントでは、エンベディングは文字列どうしの関連の強さを測るためのもので、二つのベクトルの距離が近いほど関連が強く、遠いほど弱いと説明されています。

Microsoftの資料では、手順は大きく三つに分かれます。まず資料を意味のまとまりごとに区切り、それぞれをエンベディングにして保存します。次に、質問文も同じエンベディングモデルで変換します。最後に、質問のベクトルと保存したベクトルの距離を計算し、近いものから返します。質問と資料で同じモデルを使う点が大切です。

この方式は、使われている単語が違っても意味が近ければ拾えるのが強みです。Microsoftの資料には、「旅行向けの軽いノートパソコン」で探して「1kg未満の超小型ノートPC」という説明文に行き着く、という趣旨の例があります。自然な言葉での質問、言語をまたいだ検索、質問者と資料の書き手で呼び方が違う場面に向くとされています。

キーワード検索は、言葉そのものを索引で引く

キーワード検索（全文検索）は、質問に含まれる語を含む資料を探す方式です。Microsoftの資料によると、資料をあらかじめ語に分け、表記をそろえ、ありふれた語を除いたうえで、「どの語がどの資料に出てくるか」を記録した索引（転置インデックス）を作っておきます。質問も同じ処理を通してから索引と照らし合わせます。

並び順を決める代表的な方法がBM25です。資料の説明では、その語が資料に何回出てくるか、資料全体の中でどれだけ珍しい語か、資料の長さはどうか、といった点を考慮して順位を付けるとされています。珍しい語が一致するほど上位に来やすいため、型番のように特定の資料にしか出てこない語と相性がよい方式です。

Microsoftの資料では、製品コード、専門性の高い用語、日付、人名などの検索はキーワード検索の方がうまくいく場面があり、その理由として完全一致を見つけられる点が挙げられています。また、なぜその順位になったのかを説明しやすく、点検しやすいことも利点とされています。

得意と苦手が逆になる二つの方式

二つの方式は、得意な場面がちょうど裏返しになっています。意味検索は「近い意味」を拾うのが得意ですが、それは「似ているが別のもの」も近くに並ぶ可能性があるということです。キーワード検索は「同じ文字」を正確に拾いますが、言い換えには弱くなります。

仮例で考えます。ある会社で「A-1023」と「A-1032」という型番の部品があるとします。この二つは文字の並びがよく似ていますが、取り違えると困る別物です。こうした語で確実に目当ての資料を引きたいなら、完全一致を手がかりにできるキーワード検索が頼りになります。反対に「納品が遅れたときの対応」と聞いて「出荷遅延時の連絡手順」という資料を探したい場合は、共通する語がほとんどないため、意味検索の出番です。

なお、新しい製品名や社内だけの略称が意味検索でどう扱われるかについて、今回確認した公式資料には具体的な説明がありませんでした。そのため本記事では推測で断定せず、「完全一致が必要な語はキーワード検索が向く」という資料の記述にとどめます。

• 意味検索が向く：自然な文章の質問、言い換え・同義語、呼び方の違い、多言語の資料
• キーワード検索が向く：型番・製品コード、専門用語、日付、人名、文字が一致しないと困る語
• 意味検索の注意点：似ているが別のものが上位に来ることがある
• キーワード検索の注意点：質問と資料で言葉が違うと見つからない

ハイブリッド検索は、両方を同時に走らせて順位で合わせる

ハイブリッド検索は、意味検索とキーワード検索を同時に実行し、二つの結果を一つの並びにまとめる方式です。Azure AI Searchの資料では、一回の検索リクエストの中に全文検索とベクトル検索の両方を含め、並行して実行すると説明されています。

問題は、二つの方式で点数の付け方がまったく違うことです。BM25の点数と、ベクトルの近さを表す数値は尺度が合わないため、そのまま足し合わせられません。そこで使われるのがRRF（Reciprocal Rank Fusion）です。点数ではなく「それぞれの結果で何位だったか」をもとに合計の評価を出し、どちらの結果でも上位にいる資料が最終的に上に来るようにします。

Microsoftの資料では、ハイブリッド検索はどちらか一方だけより良い結果になりやすく、多くの本番向け検索で推奨される方式とされています。利用者が検索方式を選ばなくても、文章での質問から型番の照会まで幅広く受け止められる点が理由として挙げられています。さらに、上位の候補だけを高性能なモデルで並べ直す再ランキングを後段に加える構成も紹介されています。

自社の質問がどちらに当たるかを決める手順

方式を選ぶ前に、実際に社内で出てくる質問を集めて分類してみるのが近道です。いきなり製品比較から入るより、「何を探したいのか」を先に言葉にしておく方が判断がぶれません。

仮例として、ある営業部門が過去の問い合わせから質問を20件ほど書き出したとします。「見積もりの有効期限はどこに書いてある？」のような文章の質問が多ければ意味検索の比重が高くなります。「型番B-200の仕様書」「2025年4月の改定版」「担当の佐藤さんが書いた報告」のように固有の語が中心なら、キーワード検索を外せません。両方が混ざっているなら、ハイブリッド検索を前提に考えるのが自然です。

• 手順1：実際に出てくる質問を書き出す（想像ではなく、過去のやりとりから集める）
• 手順2：各質問に「完全一致が必要な語」が含まれるかに印を付ける（型番、日付、人名、社内コードなど）
• 手順3：印のない質問は、資料側でどう書かれていそうかを考え、言い換えが起きそうなら意味検索向きと判断する
• 手順4：両方の種類が一定数あれば、ハイブリッド検索を候補にする
• 手順5：取り違えると困る似た語（似た型番など）があれば、別に一覧にして確認用の質問として残す

導入前に確かめておきたいこと

どの方式を選んでも、仕組みの説明だけで自社に合うかは決まりません。前の手順で集めた質問を「正解の資料」と組にしておけば、検索システムを試すときに、目当ての資料が上位に出るかを同じ基準で見比べられます。特に、完全一致が必要な語を含む質問と、言い換えが起きる質問の両方を入れておくことが大切です。

もう一つは、検索結果を絞り込む条件です。Azure AI Searchの資料では、ハイブリッド検索でもフィルターや並べ替えなど既存のテキスト向け機能を組み合わせられると説明されています。部署や文書の種類、更新日で絞りたい事情があるなら、資料にその情報を項目として持たせておく必要があります。検索方式の選択と同じくらい、資料側の整え方が結果を左右します。

まとめると、言い換えに強いのは意味検索、文字の一致が欠かせない語に強いのはキーワード検索、両方の質問が混ざる現場ではハイブリッド検索が有力な選択肢です。まずは自社の質問を集め、どちらの性質が多いかを確かめるところから始めてみてください。