SNIFFOUT
  1. TOP
  2. スニフアウトAIメディア
  3. RAG
  4. RAGのクラリフィケーションとは?聞き返しで回答精度を上げる方法
GUIDE約 7 分

RAGのクラリフィケーションとは?聞き返しで回答精度を上げる方法

クラリフィケーションは、RAG への質問があいまいで答えが一つに決まらないとき、AI がユーザーに聞き返して条件を補ってもらう手法です。いつ聞き返すか、どう聞くか、効果の測り方までを解説します。

目次
  1. クラリフィケーションの意味と例
  2. あいまいな質問が多い理由
  3. 聞き返すと精度はどれだけ変わるか
  4. ほかのクエリ改善の手法との使い分け
  5. 聞き返すタイミング
  6. 聞き返し方の設計
  7. 聞き返す前に、画面で入力を誘導する
  8. 効果の確かめ方
  9. まとめ

RAG のクラリフィケーションとは、質問があいまいで答えが一つに決まらないときに、AI がユーザーへ聞き返し、足りない条件を補ってもらう手法です。たとえば「有給のことを教えて」だけでは、正社員の話かアルバイトの話か、取得の手続きか繰り越しのルールかが分かりません。そこで、一度検索して拾った資料が条件で割れたら「正社員とアルバイトのどちらについてですか」と聞き返し、条件をそろえてから答えます。

質問の言い換えや検索の工夫は、システムの側でできることです。一方、質問した人の雇用形態のように、本人の頭の中にしかない条件は、聞かない限り手に入りません。クラリフィケーションは、その条件を取りに行くための手法です。

クラリフィケーションの意味と例

クラリフィケーション(clarification)は、英語で「明確にすること」を指します。RAG では、ユーザーへの聞き返しの質問(clarifying question)を指して使われます。

社内 RAG に「有給のことを教えて」と入力された場面で、聞き返す場合と聞き返さない場合を比べると、次のようになります。

「有給のことを教えて」という質問に、そのまま検索すると条件の違う規定が混ざり、聞き返すと正社員の繰り越しの資料だけで答えられることを比べた図

聞き返さない場合、「有給」に近い資料がまとめて拾われ、どの資料に寄せて答えるかは AI 任せになります。聞き返せば、正社員の繰り越しの規定だけに絞ってから答えられます。無理に検索して的外れな回答を返すより、一往復の手間をかけたほうが、最終的な回答の精度は上がります。

あいまいな質問が多い理由

RAG を実際に運用すると、ユーザーのほとんどは、裏側の仕組みや、どんな資料が登録されているかを知らずに質問していることに気づきます。「何でも答えられるツール」だと受け取られると、情報の足りないラフな質問が増えます。

これは社内 RAG に限った話ではありません。一般の検索の質問でも、あいまいな質問はかなりの割合を占めます。オープンな質問応答の研究で使われるデータセット NQ-open を調べた AmbigQA の論文(EMNLP 2020)は、質問の半分以上があいまいだったと報告しています。雇用形態、年度、部署、商品の種類など、答えを分ける区分が多い社内の資料では、聞き返さないと答えが決まらない質問は、さらに多いと考えています。

聞き返すと精度はどれだけ変わるか

聞き返しの効果を測った研究として、Aliannejadi らの論文(SIGIR 2019)があります。著者らは聞き返しの質問と答えを集めたデータセット Qulac を作り、良い聞き返しの質問を 1 つだけ選べた場合、検索の上位 1 件が正しい割合(P@1)が 170% 以上改善したと報告しています。

ただし、これは最も良い質問を選べたと仮定した実験の数字です。実際のシステムでは、何を聞くかを選び損ねることもあるので、そのまま期待値にはできません。それでも、ユーザーから条件を 1 つ受け取るだけで検索の結果が大きく変わる、という傾向は押さえておいてよいと思います。

ほかのクエリ改善の手法との使い分け

ユーザーの質問を改善する手法は、クラリフィケーションのほかにもあります。前掲書の 2-8 で紹介した手法を並べると、次のとおりです。

手法すること効く場面
マルチクエリ質問を意味の近い複数の表現に言い換え、すべてで検索する言い回しの違いで資料を取りこぼすとき
辞書による言い換えユーザーの一般的な言葉を、社内の専門用語に変えてから検索するユーザーが社内の用語を知らないとき
ステップバック・プロンプティング質問を一段抽象化した問いも作り、両方で検索する背景や原因を説明した資料を拾いたいとき
HyDELLM に仮の回答を書かせ、それを使って検索する質問文と資料の書き方が離れているとき
クラリフィケーションユーザーに聞き返し、足りない条件を補ってもらう条件によって答えが分かれるとき

上の 4 つは、システムの側で質問を言い換えたり広げたりする手法です。どれも、質問に含まれていない条件を作り出すことはできません。「有給のことを教えて」をいくら言い換えても、質問した人が正社員かどうかは分からないままです。

使い分けは、取りこぼしが原因なら言い換え、条件の不足が原因なら聞き返し、と考えると整理しやすいです。組み合わせることもできます。聞き返して条件がそろったあとの質問に、マルチクエリや辞書による言い換えをかければ、検索の漏れも減らせます。

聞き返すタイミング

聞き返しすぎると、ユーザーは面倒に感じて使わなくなります。私たちが勧めているのは、一度検索してから、聞き返すかどうかを決めるやり方です。得られた資料では十分な回答が作れないと判断したときだけ聞き返す動きは、AI エージェントの考え方を RAG に組み込んだ Agentic RAG の振る舞いの一つでもあります(RAG と AI エージェント(Agentic RAG))。

質問を受けたらまず検索して判定し、拾った資料が答えを分ける条件で割れているときだけ選択肢で聞き返し、選ばれた条件で検索し直す流れと、判定の基準になる資料の属性を示した図

判定の結果は 3 通りです。

  1. 拾った資料の条件が一つにそろっていれば、そのまま答えます。
  2. 正社員用とアルバイト用の規定のように、条件で内容が違う資料が混ざっていれば、聞き返します。ユーザーが選んだ条件で資料を絞り込み、検索をやり直してから答えます。
  3. 必要な資料が見つからなければ、聞き返しても資料は出てこないので、検索をやり直すか、登録されていない領域だと伝えます。

ここで避けたいのが、判定を LLM の判断だけに任せることです。2024 年に ACL で発表された CLAMBER という評価では、当時の LLM は、あいまいな質問を見分ける力も、良い聞き返しの質問を作る力も限られていました。思考の過程を書かせる手法や例を多く見せる手法を使っても改善はわずかで、かえって自信過剰になることがあったそうです。モデルは当時より進んでいますが、プロンプトに「あいまいなら聞き返して」と書くだけで安定すると考えるのは楽観的すぎます。

そこで、答えを分ける条件を業務の側で先に決めておきます。人事の規定なら雇用形態と年度、営業のマニュアルなら商談の段階、というように、資料の属性(メタデータ)として付けておくのです。属性があれば、拾った資料の雇用形態が 2 種類に割れているかどうかは、プログラムで機械的に判定できます。

聞き返し方の設計

聞き返す質問の作り方は、次の 4 点を守ると扱いやすくなります。

  1. 選択肢で聞く:資料に付けた属性の値(正社員、契約社員、アルバイト)をそのまま選択肢にする。自由に書いてもらうと、答えをまた解釈する手間が生じる
  2. 答えを分ける条件だけを聞く:拾った資料が割れている条件だけを聞く。関係のない条件まで聞くと、一往復で済まなくなる
  3. 答えを検索の絞り込みに使う:選ばれた値で資料を絞り込んでから、検索し直す
  4. 使った条件を回答に書く:「正社員の場合の繰り越しのルールです」のように前置きし、ユーザーが前提を確かめられるようにする

4 つ目は地味ですが効きます。条件を書いておけば、選び間違えたユーザーがその場で気づけますし、回答の根拠を確かめる手間も減ります。

聞き返す前に、画面で入力を誘導する

聞き返しは、ユーザーに一往復の手間をかける手法です。最初から条件のそろった質問が来れば、聞き返す必要はありません。前掲書の 2-11 では、画面の側でできる工夫として次のようなものを紹介しています。

  • 利用の目的と、検索の対象になっている資料の範囲をトップ画面に書く
  • 参照している社内のフォルダを画面に表示する
  • 営業の工程ごとのマニュアルが入っているなら、「どの段階についての質問かを書いてください」と一言添える
  • 初心者向けか専門家向けかを示し、使う言葉の水準を想像しやすくする

画面の工夫で条件を書いてもらい、それでも足りないときに聞き返す、という順番で考えると、聞き返しの回数を抑えられます。

効果の確かめ方

クラリフィケーションを入れたら、評価用の質問集で効果を確かめます。注意したいのは、開発者が質問集を作ると、どの資料が入っているかを知っているぶん、答えやすい質問ばかりになることです(前掲書 2-14)。実際のユーザーが入力しそうな、条件の足りない質問を意図して混ぜてください。

見るのは次の 3 点です。

確かめること見方
聞き返すべき質問で聞き返したか条件で答えが分かれる質問に、聞き返しが出たかを数える
聞き返さなくてよい質問で聞き返していないか条件がそろった質問に、余計な聞き返しが出ていないかを数える
聞き返したあとの回答が合っているか選択肢を選んだあとの回答を、理想の回答と比べる

運用が始まったら、ユーザーがどの選択肢を選んだかも記録しておくと役に立ちます。いつも同じ選択肢が選ばれる条件は、画面の側で最初に聞いてしまうか、既定の値にしてしまえます。評価の進め方の全体は「RAG の評価方法」に、精度が上がらない原因の切り分けは「RAG の精度が上がらない原因と対策」にまとめています。

クエリの改善や精度の評価を、社内で設計して回せるようにしたい場合は、株式会社スニフアウトの RAG技術研修 で、HyDE や Query Expansion などの精度向上の手法と、テストデータを使った評価の手順を扱っています。

まとめ

  • クラリフィケーションは、答えが一つに決まらない質問に、AI がユーザーへ聞き返して条件を補ってもらう手法です
  • 言い換えや仮回答による検索では、質問に含まれていない条件は補えません。条件の不足には聞き返しで対処します
  • 毎回は聞き返さず、一度検索して、拾った資料が答えを分ける条件で割れているときだけ聞き返します
  • 答えを分ける条件は業務の側で決め、資料に属性として付けておくと、判定が安定します
  • 聞き返すべき質問と聞き返さなくてよい質問の両方を評価用の質問集に入れて、効果を測ります
FAQ

よくある質問

RAG のクラリフィケーションとは何ですか?
質問があいまいで答えが一つに決まらないときに、AI がユーザーへ聞き返し、足りない条件を補ってもらう手法です。たとえば「有給のことを教えて」に対して、一度検索して、拾った資料が正社員用とアルバイト用に割れていれば、どちらについてかを聞き返し、条件をそろえてから答えます。
毎回聞き返すと、ユーザーが面倒に感じませんか?
毎回は聞き返しません。一度検索して、拾った資料が雇用形態や年度のような答えを分ける条件で割れているときだけ聞き返します。条件が一つにそろっていれば、そのまま答えます。
マルチクエリや HyDE とは何が違いますか?
マルチクエリや HyDE は、システムの側で質問を言い換えたり広げたりして、検索の取りこぼしを減らす手法です。クラリフィケーションは、ユーザーの頭の中にしかない条件を、本人に聞いて補う手法です。言い換えでは、質問に含まれていない条件は補えません。
プロンプトに「あいまいなら聞き返して」と書くだけで十分ですか?
それだけでは安定しにくいです。2024 年に発表された評価(CLAMBER)では、当時の LLM はあいまいな質問を見分ける力も、良い聞き返しの質問を作る力も限られていました。どの条件で答えが分かれるのかを業務の側で決め、資料に属性として付けておくと判定が安定します。
聞き返しの効果はどう測ればよいですか?
評価用の質問集に、実際のユーザーが入力しそうなあいまいな質問を混ぜます。聞き返すべき質問で聞き返したか、聞き返さなくてよい質問で聞き返していないか、聞き返したあとの回答が理想の回答と合っているかの 3 点を見ます。
Related Service

この記事に関連するサービス

Author津本 海株式会社スニフアウト 代表取締役CEO

東京大学大学院 複雑理工学専攻卒業。理論物理学・ヒューマンインターフェースを専門とし、大手化粧品メーカー・ゲーム会社で AI/機械学習の開発に従事。2022年11月に株式会社スニフアウトを創業。RAG と AI エージェントの解説書を執筆している。