寓言
武馆的两种考法
青山镇上有一家老武馆，历来收徒弟要先过三场统一比试。第一场扎马步，谁扎得久谁赢；第二场打木人，谁打断的木桩多谁赢；第三场比兵器，评委只看谁把稻草人砍得最碎。三场下来总分最高的就是掌门候选人。周边几个武馆觉得这个办法公平，每年都来比划比划，输赢一目了然。
有一天，师父发现一个问题：比试拿第一的徒弟，往往出去办事并不行。有个叫阿成的，马步扎得最久，兵器也耍得最漂亮，可让他去县城送封信，他居然迷了路。另一个叫阿文的，木人只打断了半根，但走街串巷特别机灵，师父交代的事从没耽误过。
师父开始怀疑这三场比试到底有没有用。有人给他出主意：「那就加一场真的，送封信去县城，谁先回来谁赢。」一试之下果然有效，阿文拿了第一。可问题是，每次想看徒弟的真实本事，都得真的派出去办事，不可能天天让人满街跑。
后来师父想了个折中办法：设计一套模拟场景，在武馆里搭个假县城，有客栈、有集市、有衙门口，让徒弟在里面走一遍。这下方便多了，随时都能考。但师父很快又发现问题了：有些徒弟在假县城里走得飞快，到了真县城还是找不到北。
两种考法各有各的道理。统一比试好处是公平、好比、好存档，但考的是「标准动作」不是「真干活」。模拟场景更接近实战，但终究是假的。派出去真办事最准，可成本太高，不可能天天搞。
这时候来了个年轻人，说他有一套新办法：不给徒弟设统一题目，而是让每个徒弟自己想一个最擅长的任务，做完了师父来评价。有人说我想练拳，有人说我想学暗器，有人说我能三天不睡觉。师父一看，这哪是考试，根本就是让徒弟自己给自己出题。
但仔细看下去，师父发现这种考法有个好处：能看到每个人真正擅长的东西，而不是他会不会那三套标准动作。只是评价起来主观性很强，两个徒弟之间很难说谁更强。
故事讲完了。统一比试就是 benchmark，大家做同一套题，分数可以直接比较；自己给自己出题、自己评价效果，就是 evaluation。两者不是谁好谁坏，而是「比排名」还是「看效果」的区别。