- TOP
- スニフアウトAIメディア
- RAG
- RAGのクラリフィケーションとは?聞き返しで回答精度を上げる方法
RAGのクラリフィケーションとは?聞き返しで回答精度を上げる方法
クラリフィケーションは、RAG への質問があいまいで答えが一つに決まらないとき、AI がユーザーに聞き返して条件を補ってもらう手法です。いつ聞き返すか、どう聞くか、効果の測り方までを解説します。
目次
RAG のクラリフィケーションとは、質問があいまいで答えが一つに決まらないときに、AI がユーザーへ聞き返し、足りない条件を補ってもらう手法です。たとえば「有給のことを教えて」だけでは、正社員の話かアルバイトの話か、取得の手続きか繰り越しのルールかが分かりません。そこで、一度検索して拾った資料が条件で割れたら「正社員とアルバイトのどちらについてですか」と聞き返し、条件をそろえてから答えます。
質問の言い換えや検索の工夫は、システムの側でできることです。一方、質問した人の雇用形態のように、本人の頭の中にしかない条件は、聞かない限り手に入りません。クラリフィケーションは、その条件を取りに行くための手法です。
クラリフィケーションの意味と例
クラリフィケーション(clarification)は、英語で「明確にすること」を指します。RAG では、ユーザーへの聞き返しの質問(clarifying question)を指して使われます。
社内 RAG に「有給のことを教えて」と入力された場面で、聞き返す場合と聞き返さない場合を比べると、次のようになります。

聞き返さない場合、「有給」に近い資料がまとめて拾われ、どの資料に寄せて答えるかは AI 任せになります。聞き返せば、正社員の繰り越しの規定だけに絞ってから答えられます。無理に検索して的外れな回答を返すより、一往復の手間をかけたほうが、最終的な回答の精度は上がります。
あいまいな質問が多い理由
RAG を実際に運用すると、ユーザーのほとんどは、裏側の仕組みや、どんな資料が登録されているかを知らずに質問していることに気づきます。「何でも答えられるツール」だと受け取られると、情報の足りないラフな質問が増えます。
これは社内 RAG に限った話ではありません。一般の検索の質問でも、あいまいな質問はかなりの割合を占めます。オープンな質問応答の研究で使われるデータセット NQ-open を調べた AmbigQA の論文(EMNLP 2020)は、質問の半分以上があいまいだったと報告しています。雇用形態、年度、部署、商品の種類など、答えを分ける区分が多い社内の資料では、聞き返さないと答えが決まらない質問は、さらに多いと考えています。
聞き返すと精度はどれだけ変わるか
聞き返しの効果を測った研究として、Aliannejadi らの論文(SIGIR 2019)があります。著者らは聞き返しの質問と答えを集めたデータセット Qulac を作り、良い聞き返しの質問を 1 つだけ選べた場合、検索の上位 1 件が正しい割合(P@1)が 170% 以上改善したと報告しています。
ただし、これは最も良い質問を選べたと仮定した実験の数字です。実際のシステムでは、何を聞くかを選び損ねることもあるので、そのまま期待値にはできません。それでも、ユーザーから条件を 1 つ受け取るだけで検索の結果が大きく変わる、という傾向は押さえておいてよいと思います。
ほかのクエリ改善の手法との使い分け
ユーザーの質問を改善する手法は、クラリフィケーションのほかにもあります。前掲書の 2-8 で紹介した手法を並べると、次のとおりです。
| 手法 | すること | 効く場面 |
|---|---|---|
| マルチクエリ | 質問を意味の近い複数の表現に言い換え、すべてで検索する | 言い回しの違いで資料を取りこぼすとき |
| 辞書による言い換え | ユーザーの一般的な言葉を、社内の専門用語に変えてから検索する | ユーザーが社内の用語を知らないとき |
| ステップバック・プロンプティング | 質問を一段抽象化した問いも作り、両方で検索する | 背景や原因を説明した資料を拾いたいとき |
| HyDE | LLM に仮の回答を書かせ、それを使って検索する | 質問文と資料の書き方が離れているとき |
| クラリフィケーション | ユーザーに聞き返し、足りない条件を補ってもらう | 条件によって答えが分かれるとき |
上の 4 つは、システムの側で質問を言い換えたり広げたりする手法です。どれも、質問に含まれていない条件を作り出すことはできません。「有給のことを教えて」をいくら言い換えても、質問した人が正社員かどうかは分からないままです。
使い分けは、取りこぼしが原因なら言い換え、条件の不足が原因なら聞き返し、と考えると整理しやすいです。組み合わせることもできます。聞き返して条件がそろったあとの質問に、マルチクエリや辞書による言い換えをかければ、検索の漏れも減らせます。
聞き返すタイミング
聞き返しすぎると、ユーザーは面倒に感じて使わなくなります。私たちが勧めているのは、一度検索してから、聞き返すかどうかを決めるやり方です。得られた資料では十分な回答が作れないと判断したときだけ聞き返す動きは、AI エージェントの考え方を RAG に組み込んだ Agentic RAG の振る舞いの一つでもあります(RAG と AI エージェント(Agentic RAG))。

判定の結果は 3 通りです。
- 拾った資料の条件が一つにそろっていれば、そのまま答えます。
- 正社員用とアルバイト用の規定のように、条件で内容が違う資料が混ざっていれば、聞き返します。ユーザーが選んだ条件で資料を絞り込み、検索をやり直してから答えます。
- 必要な資料が見つからなければ、聞き返しても資料は出てこないので、検索をやり直すか、登録されていない領域だと伝えます。
ここで避けたいのが、判定を LLM の判断だけに任せることです。2024 年に ACL で発表された CLAMBER という評価では、当時の LLM は、あいまいな質問を見分ける力も、良い聞き返しの質問を作る力も限られていました。思考の過程を書かせる手法や例を多く見せる手法を使っても改善はわずかで、かえって自信過剰になることがあったそうです。モデルは当時より進んでいますが、プロンプトに「あいまいなら聞き返して」と書くだけで安定すると考えるのは楽観的すぎます。
そこで、答えを分ける条件を業務の側で先に決めておきます。人事の規定なら雇用形態と年度、営業のマニュアルなら商談の段階、というように、資料の属性(メタデータ)として付けておくのです。属性があれば、拾った資料の雇用形態が 2 種類に割れているかどうかは、プログラムで機械的に判定できます。
聞き返し方の設計
聞き返す質問の作り方は、次の 4 点を守ると扱いやすくなります。
- 選択肢で聞く:資料に付けた属性の値(正社員、契約社員、アルバイト)をそのまま選択肢にする。自由に書いてもらうと、答えをまた解釈する手間が生じる
- 答えを分ける条件だけを聞く:拾った資料が割れている条件だけを聞く。関係のない条件まで聞くと、一往復で済まなくなる
- 答えを検索の絞り込みに使う:選ばれた値で資料を絞り込んでから、検索し直す
- 使った条件を回答に書く:「正社員の場合の繰り越しのルールです」のように前置きし、ユーザーが前提を確かめられるようにする
4 つ目は地味ですが効きます。条件を書いておけば、選び間違えたユーザーがその場で気づけますし、回答の根拠を確かめる手間も減ります。
聞き返す前に、画面で入力を誘導する
聞き返しは、ユーザーに一往復の手間をかける手法です。最初から条件のそろった質問が来れば、聞き返す必要はありません。前掲書の 2-11 では、画面の側でできる工夫として次のようなものを紹介しています。
- 利用の目的と、検索の対象になっている資料の範囲をトップ画面に書く
- 参照している社内のフォルダを画面に表示する
- 営業の工程ごとのマニュアルが入っているなら、「どの段階についての質問かを書いてください」と一言添える
- 初心者向けか専門家向けかを示し、使う言葉の水準を想像しやすくする
画面の工夫で条件を書いてもらい、それでも足りないときに聞き返す、という順番で考えると、聞き返しの回数を抑えられます。
効果の確かめ方
クラリフィケーションを入れたら、評価用の質問集で効果を確かめます。注意したいのは、開発者が質問集を作ると、どの資料が入っているかを知っているぶん、答えやすい質問ばかりになることです(前掲書 2-14)。実際のユーザーが入力しそうな、条件の足りない質問を意図して混ぜてください。
見るのは次の 3 点です。
| 確かめること | 見方 |
|---|---|
| 聞き返すべき質問で聞き返したか | 条件で答えが分かれる質問に、聞き返しが出たかを数える |
| 聞き返さなくてよい質問で聞き返していないか | 条件がそろった質問に、余計な聞き返しが出ていないかを数える |
| 聞き返したあとの回答が合っているか | 選択肢を選んだあとの回答を、理想の回答と比べる |
運用が始まったら、ユーザーがどの選択肢を選んだかも記録しておくと役に立ちます。いつも同じ選択肢が選ばれる条件は、画面の側で最初に聞いてしまうか、既定の値にしてしまえます。評価の進め方の全体は「RAG の評価方法」に、精度が上がらない原因の切り分けは「RAG の精度が上がらない原因と対策」にまとめています。
クエリの改善や精度の評価を、社内で設計して回せるようにしたい場合は、株式会社スニフアウトの RAG技術研修 で、HyDE や Query Expansion などの精度向上の手法と、テストデータを使った評価の手順を扱っています。
まとめ
- クラリフィケーションは、答えが一つに決まらない質問に、AI がユーザーへ聞き返して条件を補ってもらう手法です
- 言い換えや仮回答による検索では、質問に含まれていない条件は補えません。条件の不足には聞き返しで対処します
- 毎回は聞き返さず、一度検索して、拾った資料が答えを分ける条件で割れているときだけ聞き返します
- 答えを分ける条件は業務の側で決め、資料に属性として付けておくと、判定が安定します
- 聞き返すべき質問と聞き返さなくてよい質問の両方を評価用の質問集に入れて、効果を測ります
よくある質問
RAG のクラリフィケーションとは何ですか?
毎回聞き返すと、ユーザーが面倒に感じませんか?
マルチクエリや HyDE とは何が違いますか?
プロンプトに「あいまいなら聞き返して」と書くだけで十分ですか?
聞き返しの効果はどう測ればよいですか?
この記事に関連するサービス

東京大学大学院 複雑理工学専攻卒業。理論物理学・ヒューマンインターフェースを専門とし、大手化粧品メーカー・ゲーム会社で AI/機械学習の開発に従事。2022年11月に株式会社スニフアウトを創業。RAG と AI エージェントの解説書を執筆している。


