SNIFFOUT
  1. TOP
  2. スニフアウトAIメディア
  3. RAG
  4. RAG の評価方法:評価用の質問集のつくり方、指標、改善の回し方
GUIDE約 7 分

RAG の評価方法:評価用の質問集のつくり方、指標、改善の回し方

RAG の評価は、現場の人が入れる質問と理想の回答の組で正答率を出し、外れた原因を検索、生成、データに分けるところまで行います。質問集の項目と質問の種類、RAGAS の指標、LLM-as-a-Judge の注意点を説明します。

目次
  1. 評価の全体の流れ
  2. 合格ラインの決め方
  3. 評価用の質問集(テストデータ)のつくり方
  4. 実行するときに残すログ
  5. 採点に使う指標
  6. 採点の自動化と、その注意点
  7. 結果の読み方
  8. 改善の回し方
  9. まとめ

RAG の評価とは、現場の人が実際に入れそうな質問と、それに対する理想の回答の組(テストデータ)を用意し、システムの回答と突き合わせて正答率を出すことです。ただし正答率だけでは、何を直せばよいかが分かりません。各質問でシステムが参照したチャンクを記録し、外れた原因が検索、生成、元データのどこにあるかまで分けて、はじめて改善に使える評価になります。

私の著書では、実際の利用者の振る舞いに沿った網羅的なテストデータさえ準備できれば、精度改善の準備は 8 割終わったと書きました。この記事では、その質問集のつくり方と、採点、結果の読み方、改善の回し方を順に説明します。

評価の全体の流れ

最初に基準と質問集をつくり、質問集を中心に、実行して記録、採点、原因の切り分け、1 か所の修正を回し、合格したら公開へ進む流れ

基準と質問集は最初に一度つくり、あとは同じ質問集を使って「実行して記録、採点、原因の切り分け、1 か所だけ直す」を合格ラインに届くまで回します。合格したら数名で試してから公開し、公開後は実際に入力された質問を質問集に足し続けます。

合格ラインの決め方

合格ラインは、誰がどんな場面で使うかで変わります。著書では、業務で使うには 80% 程度以上が目安だとしました。お客様に直接見せる回答や金額の回答は、これより厳しく見る必要があります。

同じ RAG でも、使う人によって精度の見え方が変わる点にも注意してください。著書で挙げた例では、専門的な文書を検索対象にした RAG に、その分野に詳しい人が専門用語で質問すれば検索はよく当たります。同じシステムに詳しくない人が日常の言葉で質問すると、精度は下がります。誰を想定するかを決めないまま測った数字は、あまり当てになりません。

想定外の質問への振る舞いも、ここで決めておきます。業務に関係のない質問に「対象の文書に記載がないので答えられません」と返すのか、一般的な LLM として答えさせるのかで、正解の書き方が変わるからです。

評価用の質問集(テストデータ)のつくり方

質問集は表計算ソフトの 1 行に 1 問を書きます。最低限、次の項目をそろえてください。

項目書く内容何に使うか
質問利用者が実際に入れそうな文。言葉づかいも現場のまま実行する入力
理想の回答回答に含まれていてほしい中身回答の採点
根拠の箇所答えの根拠になる文書とその箇所(理想のチャンク)検索が当たったかの判定
質問の種類下の表の分類弱い種類の発見
想定する利用者新人、専門家、お客様など合格ラインの確認

いちばん注意すべきは質問のリアリティです。開発者が質問をつくると、検索対象の文書の中身を知っているため、答えやすい質問ばかりになりがちです。社内のテスト(オフラインテスト)では精度が高かったのに、実際に使ってもらう段階(オンラインテスト)で外れが続出する原因の多くは、ここにあります。

そこで、次の種類の質問を意識して混ぜます。

質問の種類例確かめたいこと
文書と同じ言葉の質問有給休暇の繰り越しの規定は?基本の検索が当たるか
日常の言葉の質問休みって来年に持ち越せる?言葉のずれに耐えられるか
短く、情報が足りない質問有給のことを教えて聞き返しや補い方が適切か
複数の箇所を組み合わせる質問異動したら有給の残りはどうなる?離れた情報を両方拾えるか
文書に答えがない質問社員食堂の今日のメニューは?作り話をせず、答えられないと返すか
文書の全体を問う質問この規程で改訂されたところを全部挙げてRAG 以外の方法に切り替えるべきか
数値や金額の質問出張の日当はいくら?数字の取り違えがないか

例の質問はこの記事のための説明用で、どの質問が必要かは扱う文書と利用者で決まります。質問は、現場の担当者に普段の言葉で書いてもらうのが確実です。

件数の目安として、株式会社スニフアウトの RAG技術研修 のページでは、評価に 200 件以上のデータが必要になった企業の事例を紹介しています。件数を増やす前に、上の種類が偏りなく入っているかを確かめてください。

実行するときに残すログ

採点のために、各質問について次を記録します。

  1. システムの回答
  2. 実際に参照したチャンク(どの文書のどの箇所か、検索のスコア)
  3. 質問集に書いた根拠の箇所と、2 が一致しているか

著書でも強調したとおり、回答の正誤だけを記録していると、外れたときに原因を特定できません。参照したチャンクのログは、評価のために後から足すのではなく、最初から出るように作っておきます。

採点に使う指標

まず見るのは、理想の回答と同じことを伝えている回答の割合(正答率)です。言い回しが違っても、伝えている中身が同じなら正解とします。

そのうえで、検索と生成のどちらで落ちたかを見る指標を使います。RAG の評価用のオープンソースライブラリ RAGAS には、代表的な指標として次のものがあります。

指標測ること低いときに疑う場所
Faithfulness(忠実性)回答の主張のうち、参照した文書にもとづくものの割合生成。文書にない情報を作っている
Answer Relevancy(回答の関連性。Response Relevancy とも表記)回答が質問に答えているか生成。的外れ、回りくどい、足りない
Context Recall(文脈の再現率)理想の回答に必要な情報が、検索結果にどれだけ入っているか検索。チャンクの切り方や top-k
Context Precision(文脈の適合率)検索結果に関係のない情報が混ざっていないか、関係する文書が上位にあるか検索。リランキングの導入

著書では、Faithfulness の例として、文書に「納期は 3 週間」とあるのに「2 週間でお届けできます」と答えるとスコアが下がると説明しました。Context Recall が低いなら直す先は検索の側、Faithfulness が低いなら生成の側、というように、指標ごとに手を入れる場所が分かれます。

採点の自動化と、その注意点

理想の回答とシステムの回答が同じ意図かどうかを、人が 1 問ずつ判定すると時間がかかります。そこで、採点そのものを LLM に任せる LLM-as-a-Judge が広く使われています。

この手法を検証した Zheng らの論文(2023 年)では、GPT-4 による判定が人の判断と 80% 以上一致し、人同士の一致率と同じ水準だったと報告しています。同じ論文は、回答を並べる順番に判定が引きずられる、長い回答を高く評価しがち、自分が生成したものに近い回答をひいきする、といった偏りも挙げています。

全部を LLM に任せきりにせず、一部の質問は人も採点して、LLM の判定と食い違いがないかを確かめてください。食い違いが多いなら、採点用のプロンプトに判定の基準を具体的に書き足します。

結果の読み方

採点が終わったら、外れた質問を「根拠のチャンクを拾えたか」と「回答が理想と合ったか」の 2 つで分けます。

縦に根拠のチャンクを拾えたか、横に回答が理想と合ったかを取り、質問を生成の問題、合格、検索かデータの問題、要注意の 4 つに分ける

左上は生成、左下は検索かデータに原因があります。右下の「根拠なしで当たっている」は見落としやすい区分です。社内の文書を参照せずに、LLM がもともと持つ一般的な知識で答えた可能性があり、社内固有の質問では同じようには当たりません。

区分ごとの件数を数えれば、次に手を入れる場所が決まります。原因ごとの手当ては「RAG の精度が上がらない原因と対策」にまとめています。

改善の回し方

改善は、1 回に 1 か所だけ変えて、同じ質問集で測り直すのが基本です。チャンクサイズとプロンプトを同時に変えると、上がっても下がっても、どちらが効いたのか分かりません。施策ごとに正答率と区分ごとの件数を、次のような表に残しておくと、次の判断が速くなります。

版変えたこと正答率検索で落ちた件数生成で落ちた件数
v1初期構成(測定値)(件数)(件数)
v2top-k を増やした(測定値)(件数)(件数)
v3ハイブリッド検索にした(測定値)(件数)(件数)

合格ラインに届いても、いきなり全社に公開しないでください。著書では、一度でも期待外れの回答を見た利用者は使わなくなりがちなので、RAG の仕組みと精度向上の難しさを分かっている数名で先に試すことを勧めています。そこで実用に足ると確かめてから、使う人を広げます。

公開した後は、実際に入力された質問がいちばんの評価材料です。ログから外れた質問を拾い、理想の回答を書いて質問集に足していくと、質問集が現場の使い方に近づいていきます。

まとめ

  • RAG の評価は、質問と理想の回答の組で正答率を出し、外れた原因を検索、生成、データに分けるところまで行う
  • 質問集には、日常の言葉、情報不足、複数箇所、答えのない質問などを混ぜ、現場の人に書いてもらう
  • 参照したチャンクのログを最初から残し、RAGAS の指標などで検索と生成のどちらが弱いかを見る
  • LLM-as-a-Judge は速いが偏りがあるので、一部は人が採点して確かめる
  • 1 回に 1 か所だけ変えて測り直し、公開後は実際の質問を質問集に足し続ける

テストデータの準備から低精度の原因の特定、施策の選び方までを、ハンズオンを含めて学べる場として RAG技術研修 を用意しています。

FAQ

よくある質問

RAG の評価用の質問は何件用意すればいいですか?
決まった件数はありませんが、質問の種類ごとに偏りなく集めることが先です。株式会社スニフアウトの RAG技術研修のページでは、評価に 200 件以上のデータが必要になった企業の事例を紹介しています。最初は少なくても始め、外れた質問の種類を見ながら足していきます。
理想の回答(正解データ)は誰がつくるべきですか?
その業務を知っている人がつくります。開発者だけでつくると、検索対象の文書を知っているぶん、答えやすい質問ばかりになりがちです。現場の担当者に、普段どんな言葉で質問するかも含めて書いてもらってください。
LLM-as-a-Judge だけで採点してよいですか?
大量の採点を速く回すには向いていますが、人の判断とのずれは残ります。LLM の採点には、回答の順番や長さに判断が引きずられる傾向が報告されています。一部の質問は人も採点し、LLM の判定と食い違っていないかを確かめてください。
RAGAS とは何ですか?
RAG の回答品質を自動で採点するためのオープンソースの Python ライブラリです。回答が参照文書に忠実か、質問に答えているか、必要な文書を検索で取りこぼしていないか、検索結果に関係のない文書が混ざっていないかといった指標を持ち、原因が検索と生成のどちらにあるかを切り分けるのに使えます。
Related Service

この記事に関連するサービス

Author津本 海株式会社スニフアウト 代表取締役CEO

東京大学大学院 複雑理工学専攻卒業。理論物理学・ヒューマンインターフェースを専門とし、大手化粧品メーカー・ゲーム会社で AI/機械学習の開発に従事。2022年11月に株式会社スニフアウトを創業。RAG と AI エージェントの解説書を執筆している。