寓話
欠字帳簿の独学の徒弟
年少の弟子は書物のページそのものから練習問題を探し、文脈に手がかりを求め、答えを元の巻と照合する。先生が1ページずつ添削するのを待つ必要はない。
何千ページもの資料を前に、逐句の人手による解説ではカバーできない。少数の模範例だけでは未知の表現を学べない。
答えのある模範文だけを暗記すれば、短期的には点数が上がるが、訓練は見慣れた問題に閉じ込められ、教材に含まれる広範なパターンは依然として学ばれない。
老匠人は原書から自動で問題を作る。語を隠す、続きを書く、断片を組み合わせるなどで、文脈中の答えを監督信号とする。
先生は書物のページの半句を隠し、章の順を乱し、題名を消し、学徒に前後の文脈から補わせ、その後自分で原巻と照合させた。この工程は面倒で、当初は工期も遅らせた。しかし数回を経て、手戻りが減り、師匠も気まぐれで規則を変えなくなった。皆はついに見えた。したがって、データ自身が構成するタスクは訓練規模を拡大できるが、学んだ能力は下流の評価で検証しなければならない。
徒弟が十分な練習を積んだ後、少量の人手による講評にこそ本当の増分が生まれた。
徒弟は何千何万回も繰り返すうちに、言葉がどうつながるかを次第に理解し、やがて少しの講評だけで目を覚まされるようになった。それ以来、世の中には人が一項目ずつラベルを付けなくても、教材の内部の欠落が構造を学ばせるものがある。