寓話
試験問題が先に練習帳へ流れ込んだ
雲杉書院は毎年経理係の徒弟を選ぶ。かつては先生が問題一式を出し、学生はその場で帳簿を計算し、伝票を照合し、誤りを探し、安定してできる者が経理係に入った。
書院の評判が高まり、受験対策の塾も増えた。学生は毎日問題を解き、先生は喜び、皆の帳術が年々強くなっていると思った。
ある試験で、クラス全員がほぼ満点を取った。先生は最初、教学が大成したと思ったが、一人の生徒が空白に、問題の横には本来あるはずのない注釈を書き込んでいた。
今年の試験問題は、すでに練習帳に書き写されていたのだ。学生は帳簿の変化を身につけたのではなく、同じ帳簿、同じ誤字、同じ罠を見ただけだった。
先生はまず問題の順序を入れ替えた。それでも点数は高かった。答えと解法がすでに覚えられているからだ。順序を変えることは能力を変えることではない。実際に人を用いると、満点の学生は新しい商隊、新しい税票、新しい割引に出会うと、かえって慌てふためいた。
老経理係は試験を再設計した。どの問題がすでに流出したかを点検し、類似問題を隔離した。さらに新しい帳簿で未公開のサンプルを生成し、一部は最終検収時のみに使うよう残した。書院はようやく理解した。物差しが事前に暗記されていれば、測れるのは記憶であり、力量ではない。
新しい試験が始まったばかりの頃は点数が下がり、学生も受験対策の店も不満を言った。先生は古い問題に戻すのではなく、練習問題、模擬問題、正式問題の境界を明確に書き、どれがどの冊子に入るかを記録した。
数年後、書院は突然上がった点数を迷信しなくなった。出題元が清潔でなければ、点数が美しいほど疑わしい。本当に信頼できる考核は、学生に事前に暗記していない変化に直面させる。後に初心者が入門するとき、老師匠はまず抽象的な名目を講じず、あの失敗を振り返らせた。元々どこが直感に頼っていたか、最初の修補がなぜ不十分だったか、新しい取り決めがどうリスクを検査可能な位置に留めるか。彼らがこれらの細部を説明でき、いつ沿用し、いつ昇級すべきかも指摘できて初めて、この方法を本当に理解したと見なされた。後に彼らはこの方法を新人の演練にも渡した。まず新人に旧方法で一遍やらせ、誤りがどう現れるかを見る。次に新規則でやり直し、どの段階が事前に止められ、どの段階が証拠を残したかを見る。新人が名前を暗記するだけなら、似た場面で依然として乱用する。適用境界、代価、失敗後の補救を言える者だけが、独立して仕事を請けることを許された。