← 概念解説に戻る

Concept Fable

回答関連性

先に結論:回答関連性 Answer Relevance は、モデルの回答がユーザーの質問とタスク目標に真に応えているかを測る。ある回答は流暢で、真実で、情報豊かでありながら、依然として関連性がないことがある。それはユーザーが本当に解決したい事柄に答えていないからである。RAG と Agent システムにとって、回答関連性は出力品質を評価する重要な指標であり、もっともらしいがタスクから逸脱した回答をシステムが返すのを避けるために用いられる。

Answer Relevance · RAG evaluation

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

道を尋ねた人は、街を讃える詩を一首受け取っただけ

よそ者は初めて柳橋鎮に来て、医館へ行こうとした。彼はとても話し上手な案内人を呼び止め、尋ねた。医館へはどう行けばよいか?

ガイドはすぐに柳橋鎮の街並みを紹介し始め、東街は歴史が古く、西街は商店が賑わい、南橋は景色が最も良く、北門は三度改修されたと言った。流暢で礼儀正しく、明らかな誤りもなかった。

旅人は聞き終えてもその場に立ち尽くし、どちらへ行けばよいか分かりませんでした。案内人は自分が間違ったとは思いません。私が話したのはすべて真実の情報で、すべて道に関係している。旅人が「では今どこへ行けば」と問い詰めると、案内人はまた城防の沿革を補足し、一句一句根拠はあるものの、やはり人をその場に留めるのでした。

そばで茶を売る老人が小さな紙を持ってきて、こう書いた。ここから二本先の通りを進み、石獅子を見たら右に曲がり、薬舗を通り過ぎ、さらに五十歩進むと医館だ。余所者はその通りに歩き、すぐに着いた。

町長は後にガイドと老人に振り返りを依頼した。ガイドの情報はより多く、老人はより短く話した。しかしその問題にとって、老人の方がより有用だった。彼女の一言一言が外郷人の目標を前進させたからだ。老人も毎回少なく話すわけではなかった。外郷人が医館が骨傷を得意とするか尋ねれば、彼女は医者、時間、診療費に切り替えた;彼女の基準は短さではなく、問題に寄り添うことだった。

案内人はなおも納得せず、翌日は「なぜ医館は北街にあるのか」と答えた。今度は街の歴史を語ったことが役に立った。町長は言った。同じ知識でも、間違った問いに入れれば回り道になる。

それ以来、町のガイドたちは誰がより多く知っているかだけを競わなくなり、誰がより上手く話すかだけを競うこともなくなった。彼らは問い始めた。この言葉は質問に直接応えているか?相手を目標へ一歩近づけたか?注意を逸らしていないか?町長はガイドに、まず目標を復唱し、それから人の行動を助けない枝葉を削るよう練習させた。残る情報は少なくなったが、返答はむしろより確かになった。ガイドたちは後に各返答を二欄に分けた。必ず答えるべき道と、役に立つかもしれない背景。客が急いでいるときはまずルートを渡し、客が町の歴史を気楽に尋ねるときに詳しく展開する。関連性は質問によって変わり、話し手の知識量によって変わるものではない。

柳橋鎮は学んだ。関連とは話題に触れることではなく、目の前の問題に役立つことである。

明らかにする

この物語が語るのは:回答の関連性

回答関連性 Answer Relevance は、モデルの回答がユーザーの質問とタスク目標に真に応えているかを測る。ある回答は流暢で、真実で、情報豊かでありながら、依然として関連性がないことがある。それはユーザーが本当に解決したい事柄に答えていないからである。RAG と Agent システムにとって、回答関連性は出力品質を評価する重要な指標であり、もっともらしいがタスクから逸脱した回答をシステムが返すのを避けるために用いられる。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 旅人が医館への道を尋ねる:ユーザーが提示する明確なタスクまたは質問
  • ガイドが街の歴史を語る:内容とテーマは関連しているが、ユーザーの本当のニーズには答えていない
  • 真実だが役に立たない情報:事実が正しいことは答えが関連していることを意味しない
  • 茶売りの老人が路線を示す:ユーザーの意図に直接奉仕する回答
  • どの文も目標に密着:高い回答関連性のパフォーマンス
  • 質問者の目標を推進するか:answer relevance を評価する核心的な問い
  • 関連はかすりでもない:意味が近いことはタスク関連と等しくない

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

relevancesemantic similarity

関連する識別

この概念は隣接概念と混用されやすいので、対比ページを続けて見ることをおすすめする。

京ICP备2026014272号