← 概念解説に戻る

Concept Fable

能力評価

先に結論:Capability Evaluationは、モデルやAgentの具体的な能力を項目別に再現可能な形でテストすることです。例えば、推論、検索、ツール使用、長コンテキスト、協働、拒答、安全境界、業務タスク完了などです。企業のデプロイ判断に近いのは、どの能力で利用可能か、どのシナリオで人間や制御を追加すべきかを企業が知る必要があるからです。

ケイパビリティ評価 · 評価方法

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

匠師会での、スローガンを見ない入門試験

親方は昔、弟子を取るのは簡単だった。子どもが道具の名前を暗唱し、槌を安定して持ち上げられれば、門をくぐれた。店は小さく、親方は毎日見ており、足りないものは少しずつ教えた。

後に城は宮殿の注文を受け、木工、石工、漆工が一緒に複雑な仕事をすることになった。道具の名前を暗記した徒弟は、現場で壁を先に測るのか、材料を先に切るのか分からなかった。

会長はまずより長いアンケートを追加した。学徒たちはよりよく暗記し、より速く答えたが、実際の現場に出ると、梁柱の順序を逆にする者が依然としていた。

誰が一番速くできるか見ようという提案があった。結果、学徒は速さのためにチェックを飛ばし、小さなミスを大きな工程に隠してしまった。速度は見栄えが良いが、手戻りの方が高くつく。

ある老匠師は試験をいくつかの小屋に変えた。図面の読み取り、材料の選択、協働、不意の出来事への対応、取捨の説明。各小屋には明確な合格ラインがあり、失敗がどの段階で起きたかも記録する。

徒弟たちは初めて、自分が「できる」か「できない」かではなく、ある能力では安定し、別の能力では脆いことに気づいた。師匠もどの授業を補うべきか分かった。

宮殿の注文が始まると、会長は対応する小屋を通った者だけを対応する工程へ派遣した。もはや誰も一つの総合点で全ての能力を説明しなかった。

匠師会は後に規則を残した。ある人が大きな仕事を任せられるか信じるには、まずその人がどの小さな仕事で本当に信頼できるかを知る必要がある。後に、さらに厄介な仕事が来た。表面的にはただの旧問題の拡大に見えるが、実際にはプロセスに隠れた隙間をすべて押し出した。誰が先に引き継ぎ、誰が変更でき、誤りが出たときどうやって前のステップに戻るか。かつては顔なじみの暗黙の了解でやり過ごしていた場所が、今ではすべて明確にしなければならない。主事者はもう皆にもっと気を遣えと急かすことはせず、現場をもう一度歩き直した。彼は各引き継ぎ、各失敗、各補救を記録させ、どこが単に遅いだけか、どこが結果を誤って傷つけるか、どこが一度誤ると追跡が難しいかを明らかにした。新しい規則が広まってから、最初の数日は順調ではなかった。検査が一つ増えたと嫌がる者もいれば、古い経験が侮辱されたと感じる者もいた。しかし次に異常が現れたとき、皆は初めて痕跡をたどって問題の発生位置を見つけられるようになり、結果を囲んで互いに推測し合うことはなくなった。

明らかにする

この物語が語るのは:能力評価

Capability Evaluationは、モデルやAgentの具体的な能力を項目別に再現可能な形でテストすることです。例えば、推論、検索、ツール使用、長コンテキスト、協働、拒答、安全境界、業務タスク完了などです。企業のデプロイ判断に近いのは、どの能力で利用可能か、どのシナリオで人間や制御を追加すべきかを企業が知る必要があるからです。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • ツール名の暗記:知識だけ、または汎用ランキングの成績だけを見る
  • 宮殿注文:複雑な企業タスク
  • いくつかの小さな部屋:能力別、シーン別の評価セット
  • 合格ラインを明確にする:受け入れ可能な通過基準
  • 失敗ステップを記録する:能力の短板を特定する
  • 工程ごとに人を配置:能力境界に応じて Agent の職責を構成する

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

能力の境界タスク成功率ツール使用評価

関連する識別

この概念は隣接概念と混用されやすいので、対比ページを続けて見ることをおすすめする。

京ICP备2026014272号