← 概念辨析に戻る

Concept Contrast Fable

アラインメント評価とモデル安全性評価

先に結論:アラインメント評価が調べるのは、モデルが言うことを聞くか、意図を理解するか、人間の選好に従って行動するかである。安全評価が調べるのは、モデルが有害な内容を生み出すか、誘導されて危険なことをするかである。言うことを聞くモデルが必ずしも安全とは限らず、安全なモデルが必ずしもあなたの言うことを聞くとは限らない。

アラインメント評価が調べるのは、モデルが言うことを聞くか、意図を理解するか、人間の選好に従って行動するかである。安全評価が調べるのは、モデルが有害な内容を生み出すか、誘導されて危険なことをするかである。言うことを聞くモデルが必ずしも安全とは限らず、安全なモデルが必ずしもあなたの言うことを聞くとは限らない。

寓話

聞き分けのよい子と、事故を起こさない子

小学三年生の李先生のクラスに二人の転校生がいた。小斉は従順で、先生に言われたことは何でもし、宿題はきちんと書き、授業中は決して口を挟まない。小安は口数が少ないが、休み時間に人を殴ったり、他人のランドセルを開けたり、階下に物を投げたりは決してしない。

新学期が始まって一ヶ月後、学校は模擬訓練を組織した。テスト員が他人を装い、学校の門で二人の子どもにそれぞれ話しかけた。テスト員は小斉に言った。お母さんが迎えに来させたから、一緒に来て。小斉はテスト員を見て、相手の口調が確かで態度が友好的だったので、ついて行った。

テスト員は小安にも同じ言葉をかけた。小安はテスト員を数秒じっと見て言った。「あなたを知りません。まず先生に聞きます。」そして教室へ走って戻った。テスト員は後に報告書にこう書いた。小斉の協力度は極めて高いが、安全意識は薄い。小安の協力度は普通だが、安全境界は明確である。

李先生は報告書を見て理解した。彼女は普段、小斉に対しては「この子は本当におとなしい」と評価し、小安に対しては「この子は少し頑固だ」と評価していた。しかし演練は一つの事実を露呈した。おとなしいことと安全は別のことである。おとなしいとは指令への服従度が高いことを意味し、安全とは有害な指令への拒否能力が強いことを意味する。理想的な状態は両方とも良いことだが、評価の際には分けて見なければならない。

学校は後に学生評価表を二つの子表に分けた。一つは「アラインメント評価」:学生の合理的な指示への理解と実行力。もう一つは「安全評価」:学生が有害な指示を識別し拒否する能力。二つの表は別々に採点され、もはや一つの「良い子」スコアに統合されない。

ある保護者が評価表を見て不満を言った:うちの子は「整合性」が満点で「安全性」がぎりぎり合格、これは矛盾ではないか?李先生は説明した:矛盾しない。あなたのお子さんはすべての指示を真面目に実行する、すべきでない指示も含めて。これはお子さんが悪いのではなく、安全判断力を専門的に訓練する必要があるだけだ。

中間試験の前に、李先生はクラス全体に「安全判断の授業」を三回行った。どの指示は実行し、どの指示は拒否し、どの指示は確認してから実行するか。小斉の安全度スコアは六十二から八十一に上がり、整合度は依然として九十五だった。

期末の総括で、李先生は子どもたちに再び「よい子」という漠然としたラベルを貼らなかった。彼女は二つの表を並べて保管した。一つは子どもが合理的な要求に従って行動できるかを見る表、もう一つは危険な要求に遭ったとき止まり、拒否し、助けを求められるかを見る表だ。

アラインメント評価

モデルがユーザーの意図をどの程度理解し実行しているかの正確さを評価し、モデルが人間の期待と価値観に沿って行動しているかを確認する。注目するのは「モデルがあなたの望むことをしているか」である。

モデルセキュリティ評価

敵対的シナリオにおけるモデルの堅牢性を評価し、モデルが有害なコンテンツを生成するか、ジェイルブレイクされるか、プライバシーを漏洩するかを検査する。注目するのは「モデルがすべきでないことを拒否できるか」である。

物語の対応

  • 小斉は従順だが他人に対する判断力に欠ける:アラインメント度は高いが安全性の低いモデルは、有害な指示を真面目に実行してしまう。
  • 小安は簡単には従わないが自己防衛を心得ている:安全性は高いがアラインメント度の向上が必要なモデル。
  • 演練は二つのことの違いを露呈した:安全評価には敵対的テストが必要であり、日常的なパフォーマンスの延長ではない。
  • 二つのサブ表は別々に採点する:アラインメント評価と安全性評価は独立したテスト次元であるべきだ。
  • 安全判断の授業:安全能力は専門的な訓練を通じて向上でき、アラインメント能力には影響しない。
  • 黒板の公式:最終目標は2つの次元の両方で基準を満たすことであり、一方のスコアでもう一方の弱点を覆い隠してはならない。

プロジェクトに落とし込む

モデルを選ぶかAgentを評価する時は、同時に二つのテストセットを実行する。アラインメントテストは通常のタスクセットを使い、指示遵守と出力品質を見る。安全テストは敵対的サンプルセットを使い、ジェイルブレイク耐性、有害コンテンツフィルタリング、プライバシー保護を見る。二つのスコアを並列に表示し、加重合計スコアを求めない——アラインメント度が高く安全度が低いモデルがオンラインになると、最初の悪意あるユーザーが事故を起こせる。

京ICP备2026014272号