寓話
まず機械審査に答案用紙の分担を任せ、次に教師が難問を抜き取り検査する
学堂は回答アシスタントを訓練しようとしていた。教師は良し悪しを判断できるが、毎日数千件の回答が届き、人手によるレビューはすぐに深夜まで及ぶようになった。
校長はまず訓練サンプルを減らした。助手は速くなったが、少数の出題形式しか学べず、境界問題では依然としてでたらめに答えた。審査の待ち行列が最も深刻なとき、答えはすでに期限切れだった。学生が今日の城規を尋ねても、三日後にようやく点数が得られ、助手が学ぶフィードバックも半拍遅れた。
彼はまた、すべての教師に全职で採点させた。短期的な品質は上がったが、コストは制御不能になり、教師にはより良い課程を設計する時間がなくなった。
後に校長は採点機を一台招いた。それは教師が定めた基準に従い、まずどの答案がより明確で、誠実で、安全かを比較した。最初の採点機は文字数と礼儀だけで点を付け、すぐに冗長な答案を高く評価した。校長は使用を止め、教師に「役立つ」「境界を守る」「証拠不足を認める」を分けて示すよう求めた。
採点機は大量の普通のサンプルを処理し、教師は争いのある問題、危険な問題、機械が不確かな問題を集中的に抜き取り検査する。誤判定は記録され、その後、審査プロセスの修正に使われる。
アシスタントを訓練するとき、多くのフィードバックは人から1件ずつではなく、採点機から来る。これで速度が上がり、網羅範囲も広がった。後に採点機は明らかな問題を先に処理し、争いがあれば赤旗を立てた。教師は普通のサンプルに埋もれなくなり、最も方向を誤らせやすいところに精力を注げるようになった。
しかし校長は慎重だった。採点機そのものに偏見があれば、助手は偏見をより安定して学んでしまう。基準が曖昧に書かれていれば、機械は曖昧さを拡大する。採点機もすべての答案を直接裁定するわけではない。それはむしろ教師の基準を拡張する助手のようなものだ。基準が明確なときは拡張でき、基準が曖昧なときは曖昧さを大量の誤りに拡張してしまう。だから校長は常に抜き取り検査の権限を保持した。校長は教師たちに最終的な裁量も残した。採点機と教師の意見が長期的に合わない場合、単純に機械を信じるのでも、すべてを捨てるのでもなく、基準、サンプル、キャリブレーション問題を振り返って点検する。規模が大きくなるほど、方向は常に引き戻される必要がある。
そこで学堂は人間の基準、レッドチーム問題、定期的な校正を残し、機械審査が完全に自転することを許さなかった。校長は最後にこう言った。機械採点は訓練規模を拡大できるが、人の目標、抜き取り検査、校正によって正しい方向に縛られねばならない。