SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

评测和LLM评估,一个是检尺,一个是拿这把尺去量一个具体的模型

评测是一个通用动作——设计指标、建基准数据集、计算分数。LLM 评估是这个动作在大型语言模型上的专用化应用,需要额外处理开放性输出、主观评判和提示变体等因素。把通用评测方法直接套到 LLM 上,分数会好看但跟真实表现对不上。

寓言

有两把尺,一把量所有的布,一把专量靛蓝布

染坊里有位老量布师傅,手里有一把铜尺,量任何布料都用同一把——宽幅、窄幅、棉麻、丝绸,上去一卡就知道尺寸。染坊的布品种越来越多,老量布的铜尺一直没换,看布的人都说尺寸准。

后来染坊新进了一种靛蓝布——吸水后会缩,光照久了会褪色,用同一把铜尺量出来的尺寸是准的,但进了水的实际穿着尺寸完全对不上。有一批货因为布量达标而色泽不达标被退了仓,采购的人指着质检报告说:尺子量的是对的,但你量的那个维度是错的。靛蓝布的实际关键是跟同缸染的另一批布比色差,而不是跟干布比尺寸。

老量布师傅带着徒弟做了一张新表。他们在“铜尺量尺寸”旁边加了新栏目:靛蓝布的评测需要看三个维度——湿态尺寸变化率、同缸色差等级、日光褪色梯度。每批靛蓝布出缸后,徒弟按新表打分。标准布品的评分样本积累了四十块,每块留了一式两份,一份贴进档案格,一份留给徒弟交叉验对。

染坊接了更大的单——客人寄来一百二十份自己的布样,要求一天内评完。徒弟按老方法一块一块量,下午才做到一半。老量布师傅拿出新方案:先拿四块典型布样,请账房用一套统一描述模板逐项打分,再把评分标准写成步骤单,由染缸边的工人每缸打分汇总。这套东西管的是染坊能多快、多一致地出评测结果,不再只盯某一缸布的好坏。

到年底总结,徒弟拿了两份报告:一份是通用布品的年度评测报告——按铜尺测尺寸、棉麻按手感、丝绸按光泽,五年来指标稳定;一份是靛蓝布专用评测报告——湿态收缩率好于去年、同缸色差降低了半个等级、新染缸的褪色还没出半年数据。两份报告的格式、阈值、统计口径完全不一样,放同一张表里会读乱。

老量布师傅后来在门板上写了一条规矩:评测是一种通用的系统——你可以拿任何指标给任何对象打分。但靛蓝布评估只是其中一种专用评估,它的对象决定了要看湿态、色差和褪色,而不是只看尺寸。染坊接受这条规矩后,每个新品种进缸前先问一句:这一批该用哪把尺。

评测

一个通用的测量动作——设计指标体系、构造基准数据集、计算分数,适用于任何系统或算法的性能度量。

LLM 评估

评测在大型语言模型上的专用应用,需要处理开放式输出、主观评判、提示敏感性、评估者偏差等问题。评估框架(如 LLM-as-judge)是其常用手段。

故事对应

  • 铜尺量所有布料:通用评测框架,适用于标准输入输出类系统的度量
  • 靛蓝布湿态缩水靠色差而不是干态尺寸:LLM 评估需要专用维度,通用维度可能测不到真问题
  • 新表增加湿态、同缸色差、褪色梯度:LLM 评估的指标体系要覆盖开放性输出的多方面质量
  • 四十块标准评分样本交叉验对:LLM 评估需要建立可靠的评分基准和交叉验证机制
  • 账房统一描述模板打分:评测基建,确保大规模评估的一致性和可复现性
  • 两份年报格式完全不同:通用评测和 LLM 专用评估不能同表混排,口径要对齐各自的对象

落到 AI 系统的评测体系建设

搭建 AI 评测体系时,先区分你要做的是通用评测基建还是针对某个模型的专项评估。通用基建解决的是效率问题:如何快速、一致、自动化地跑分。LLM 评估解决的是准确性问题:你测的指标是不是跟用户感受到的质量对应。LLM 评估需要花大量精力在基准构建上——从真实场景中抽取典型案例、建立评分者一致性标定、定期复核评估框架自身的有效性。如果团队用一套分类准确率或 F1 分数作为唯一的 LLM 评测指标,多半在测一个跟用户真实体验无关的东西。