寓話
問い方を変えれば判決も変わる鉄算盤
銭荘には鉄の算盤があり、勘定が速かった。店主が『この勘定は融資できるか』と尋ねると、慎重な助言を返す。店員が『客のために通る理由を探してくれ』と尋ねると、ずっと緩やかになる。
当初は、これは鉄算盤が人情を分かっているからだと思われていた。後に、同じ資料でも、質問の順序、語調、例、フィールド名が少し変わるだけで結論が明らかに変わることが分かった。
店員たちはまず冒頭を統一し、毎回「客観的かつ正確に」と書くよう求めた。短期的には少し安定したように見えたが、顧客背景を前に置くか後ろに置くかで、リスクスコアは依然として変動した。
ある承認で、A の担当者は古いテンプレートで提出し、システムは拒否を提案した。B の担当者は言い回しを変え、システムは補足資料の提出後に承認を提案した。二つの入力は事実が同じなのに、業務は二つの行動を得た。
店主は気づいた。問題はある一度の出力ミスではなく、システムが表現の揺らぎに過度に敏感なことだ。そのようなツールは監査可能で規模化可能なプロセスを支えられない。
彼は会計にプロンプト安定性テストを構築させた。同じケースから複数の等価な問い方、フィールド順序、形式、例の組み合わせを生成し、出力が同じ業務判断を保つかを観察した。後に新入りが入職すると、まず学んだのはどう賢く問うかではなく、どうすれば同じ事実が異なる問い方でも同じ規則に戻るかだった。言葉は丁寧でよいが、判断は風に揺れてはならない。
敏感なタスクに対し、銭荘は構造化入力、固定テンプレート、明確な評点規則、回帰テストに切り替えた。必要に応じて鉄算盤には理由の説明だけをさせ、直接融資を決めさせなかった。経理係はまた最も揺らぎやすい語をリストにした。緊急、手伝い、なるべく、参考のみ。これらの語は本来無害だが、鉄算盤に業務基準が変わったと誤解させてしまう。
鉄算盤は言い回しの影響を完全には受けなくなっていないが、重要な意思決定の変動は監視されるようになった。プロンプトを変えるたびに、安定性が低下していないかを確認する。店主は言った。「一言の言い換えで結果が変わるなら、我々はまだ業務基準を言語の表面から解放できていないということだ」。後に管事はこの経験を日々の規矩に書き加えた。まず場面を見て、次に境界を見て、最後に失敗時に誰が引き継げるかを見る。これらがすべて明確になって初めて、美しいデモは納品可能な仕事になる。