← 返回概念解读

Concept Fable精修版

内容过滤

Content Filtering · Governance/Safety

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

剧场门口的筛帘,拦的不是声音大小

集市口有座传声亭,替城民把告示念给路人。起初亭吏来稿就念:卖菜吆喝、寻人启事、药方偏门、赌局暗号,全都混在一起。

第一场乱子来自一张假药告示。病人照着买药吃坏了身子,亭吏辩解说自己只是念稿。城民不买账:传声亭声音大,坏话经它一放,就比小巷谣言更伤人。

亭吏先贴黑名单,写着禁念的词。几日后,骗子把词拆开、换暗语,照样混过;正经医馆讲解药性,却因碰到同一个字被挡在门外。

老亭长改为分层审稿。明显害人的不念;可能误伤人的交给医馆或衙门看;普通争议标上来源和提醒;儿童时段另有更严的规矩。每次错放或误拦,都记入审稿册。

第一版分层也误拦过一封求医信。老亭长把它拿来复盘:求医者描述病症,不等于兜售偏方;真正危险的是未经验证却催人照做。筛帘要看用途、对象和后果,不能只看刺眼词。

后来传声亭旁多了一块申诉牌。被挡的稿可以补来源、改说法或交给专人复看。亭子没有变哑,只是学会在放大声音之前先判断会伤到谁。

亭吏也学会了记录边界案例。哪些稿被误挡,哪些稿漏过造成伤害,哪些需要交给医馆判断,都留在册上。筛帘不是一次挂好就永远正确,它要随着骗子的新话术和城民的新需求调整。 后来城民仍能听到争议、批评和求助,只是危险药方、赌局暗号和伪造告示少了。筛帘真正要守的,不是安静,而是让有用的话不被有害的话拖下水。

传声亭没有因此变成沉默亭。它仍让消息流动,只是在入口处判断哪些话会带来伤害、欺骗或违法后果。过滤的难处,不是把所有尖锐内容抹平,而是在安全和有用之间守住可解释的边界。

揭示

这个故事讲的是:内容过滤

Content Filtering 是对用户输入、模型输出和交互上下文进行检测、分类与处理,以拦截违法、有害、欺诈、仇恨、暴力、自残、隐私泄露或政策违规内容。企业 Agent 中的内容过滤应结合意图识别、上下文、风险分级、人工升级、日志和误判反馈,不能只依赖关键词。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 木偶机:生成式 AI/Agent
  • 旧音量规则:传统简单审核
  • 谐音暗号:绕过关键词过滤的攻击
  • 筛帘:内容过滤系统
  • 灰区转人工:升级与人工审核
  • 误拦和漏拦记录:过滤质量监控

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

moderationguardrailssafety classifierDLPpolicy enforcement