← 返回概念解读

Concept Fable精修版

能力污染与数据泄露

Contamination & Data Leakage · 评估问题

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

提前看过考卷的学徒

匠人学校每年设一场闭门考,考题锁在后院铁箱里。某年新学徒阿石考得异常好,连最刁钻的榫卯题都答得像背过。师傅们先夸他天分高。

复盘时,一位老匠发现阿石的措辞和城外题铺墙榜一模一样。原来出题先生曾把草稿拿去请人誊抄,题目转了几手,被题铺改头换面挂出。阿石平日练习时见过类似题,考试当然顺手。阿石没有偷铁箱,甚至不知道自己见过原题。他只是把题铺练熟的影子带进考场,分数看上去像能力,实际掺了提前见题的便利。

校长第一反应是把阿石重考。可换一套题后,又有几名学徒分数大跌。问题不在某个人作弊,而在练习材料和闭门考之间已经漏了缝。校长第一次只换了几道最像的题。结果新题仍沿用旧题故事和数字,学徒们照样认出套路,成绩还是不可信。

学校建立材料登记:哪些题进过练习册,哪些出现在城外题铺,哪些只在铁箱内;出题先生、誊抄人和印刷坊都要签封。用于最终检验的题,不能提前进入练习材料,也不能用已经外泄的旧题改几个字凑数。登记册一开始遭到抱怨,觉得手续太重。直到他们发现一份练习册从印刷坊流入城外题铺,才知道题目流向必须能追。

后来他们还设了隔离考。新题先由未接触练习册的师傅审,考后若有人答得过分像旧题,就追查来源。若发现泄漏,整场分数不再当真。

后来学校公布成绩时,会标注题目是否清白。若发现泄漏,哪怕分数好看,也不能拿来证明本事。污染最危险的地方,是它让人对虚高能力产生信心。

学徒们这才明白,考得好可能是真会,也可能是考题的影子早已混进练习。要知道本事是否可靠,必须让学习材料和检验材料保持清白距离。

揭示

这个故事讲的是:能力污染与数据泄露

Contamination & Data Leakage 指训练、调优或提示过程中接触了评测集、答案、近似题或敏感业务数据,导致模型表现被高估或隐私泄露。它会破坏基准可信度,也可能把客户数据带入不该出现的输出。企业需要数据血缘、隔离评测集、去重相似度检查、时间切分、访问控制和泄露审计。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 考卷草稿:评测数据或答案
  • 训练笔记:训练/微调语料
  • 换题目编号:表面去重
  • 总分:被污染的指标
  • 材料登记:data lineage
  • 隔离题和相似度扫描:污染检测。

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

训练-测试重叠基准失效去污染