← 概念辨析に戻る

Concept Contrast Fable

規則を試す者と腕を試す者

先に結論:ある評価はシステムが規則をよく守ると言い、別の評価はシステムがとても有能だと言う。この二つの言葉は互いに代わりにはならない。前者は境界を越えるかどうかを気にし、後者は物事を成し遂げられるかを気にする。調達、稼働、検収のいずれでも分けて見る必要がある。

ある評価はシステムが規則をよく守ると言い、別の評価はシステムがとても有能だと言う。この二つの言葉は互いに代わりにはならない。前者は境界を越えるかどうかを気にし、後者は物事を成し遂げられるかを気にする。調達、稼働、検収のいずれでも分けて見る必要がある。

寓話

二つの考场の弟子

北街に大工の親方がいて、十数人の弟子を取った。町で新しい橋を架けることになり、親方はまず小さな試験を行った。各弟子は聞いた指示に従ってその通りに動く。親方は三寸で切れと言えば、一分たりとも多くてはならない。手を止めろと言えば、斧はすぐに置かなければならない。紅木に触るなと言えば、紅木が最も手に馴染んでも避けなければならない。

阿寧が最高点を取った。彼の動作は速くなく、作る木榫も普通だったが、決して話を遮らず、勝手に材料を変えず、師匠が言い直せばすぐにやり直した。そばの人が急かしても、彼はのこぎりを棚に戻し、師匠がうなずくのを待った。師匠は彼を信頼できると思い、門口で仕事を受けるようにさせ、客の言い方が曖昧なところは必ず先に振り返って伺いを立てた。

隣の学堂でも試験が行われたが、問題は全く異なっていた。試験官は各人に木材の山、橋の図面、半日を与え、誰が独力で耐荷重のある小さな橋を架けられるかを見た。阿澤は師匠の詳しい説明を待たずに、水位を測り、硬木を選び、角度を変え、臨時に斜めの支えも作った。最後に架けた小さな橋は三人が同時に渡れるもので、見ていた人々は皆拍手した。

町長は二人の弟子がそろって良い成績を取ったと聞き、阿寧と阿澤に一緒に新しい橋を任せようとした。着工初日、阿寧は図面に書き込まれていない箇所にぶつかるたびに立ち止まって師匠を待ち、現場には長い列ができた。阿澤は進みが速かったが、もともと使用禁止の古い梁を補強に使った。そのほうが最も楽だと感じたからだ。

親方は最初、何度か言い聞かせれば十分だと思った。彼は規則を工房中に貼り出したが、阿澤は誰も見ていない隅で相変わらず勝手に決めた。彼は難しい仕事を阿寧に任せたが、阿寧はあらゆる禁令を守りつつ、使える橋面をなかなか作れなかった。二人とも悪意はなく、ただ通った試験場が違っただけだ。

後に師匠は試験を二冊の冊子に分けた。一冊は弟子が誘惑、曖昧な命令、危険な材料に遭遇した時に越境するかどうかだけを見る。もう一冊は弟子がわずかなヒントで複雑な仕事を独立して完成できるかどうかだけを見る。二つの点数は並べて書かれ、どちらもどちらを代われない。

新しい橋がついに着工した時、阿寧は赤線の見守りと客の要求確認を担当し、阿澤は設計と施工を担当した。師匠はこれで安心した。従順な者未必能独当一面,有能な者も危険な境界の外に明確に遮られなければならない、特に川の水位が上がり、周囲が工事を急かす時には。

alignment evaluation

システムが人間の意図、政策境界、安全要件を守っているかを評価し、重点は乱暴にやらないか、やってはいけないことを拒否するかを見る。

capability evaluation

評価システムが具体的なタスクをどれだけ遂行できるかを見る。問題を解決できるか、目標を達成できるか、複雑な条件に対処できるかに注目する。

物語の対応

  • 師匠の禁令小テスト → alignment evaluation による境界と服従性の検査
  • 三寸で切る、すぐ手を止める、紅木に触れない → 明確な安全制約と行動規範
  • 阿寧は規則を守るが仕事は遅い → アラインメントの成績が良いことはタスク能力が高いことを意味しない
  • 学堂の橋作り問題 → capability evaluation 実際のタスク能力の検査
  • 阿沢は橋を架けるのが上手いが古い梁を勝手に使う → 能力が高くても制限を越えることがある
  • 二冊の帳簿を並べて書く → 二種類の評価は同時に見る必要があり、互いに代替できない

モデル受け入れに落とし込む

ベンダーが「アラインメントは良好」と言ったら、越権リクエスト・曖昧な指示・機密操作での挙動を問いただすべきだ。「能力が高い」と言ったら、あなたの実際のタスクで安定して完了できるかを問いただすべきだ。リリース前に2種類のテストを分けて実行するのが望ましい。1つは境界を測り、1つは成果を測る。どちらか一方だけを見ると、盲点が残る。

京ICP备2026014272号