← 返回概念解读

Concept Fable精修版

用户反馈闭环

Feedback Loop · 可观测性

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

铜器铺里那只总被退回的水壶

铜器铺每月按老图样打一批水壶。掌柜只看卖出去多少,卖完就让师傅照样再打一批。小镇人少,大家的炉灶差不多,壶也很少出问题。

后来客人变多了,有茶馆、船户、药铺,也有带着新式炉子的旅人。水壶仍卖得快,可退货簿越来越厚:有人嫌壶嘴滴水,有人嫌把手烫,有人说壶底在新炉上站不稳。

掌柜的第一反应是让师傅把铜打厚。新壶看起来结实,退货暂时少了,但茶馆嫌太重,船户嫌烧水慢,药铺嫌倒药不准。

伙计又提议在柜台贴告示,教客人怎样拿壶。告示写得很细,退货理由却变得更乱,因为客人真正遇到的问题没有回到作坊。

一个年轻账房把每只退回的壶都绑上纸条:谁买的、在哪种炉上用、哪里不顺手、修过几次、下次还会不会买。他还把这些纸条按客人类型分开放。

师傅们第一次发现,退货不是一堆抱怨,而是几条清楚的改进线索。茶馆要快,船户要稳,药铺要准;同一只壶不该硬塞给所有人。

掌柜于是改了流程:柜台收反馈,账房归类,作坊每周改一小批,伙计再观察新壶是否减少同类退货。水壶不再靠一次大改赌运气。

几年后,铜器铺最值钱的东西不只是手艺,而是那本会让手艺持续变好的退货簿。后来掌柜把退货簿和新壶销量放在一起看。若某次改动减少了船户退货,却让茶馆少买,就不能只说成功。作坊开始小批试制、分客群观察,再决定是否全面改图样。反馈因此不再停在听见抱怨,而是进入设计、发布和再观察的循环。后来客人开始主动把纸条写得更细,因为他们看见旧意见真的进入了下一批水壶。反馈能闭合,客户才愿意继续说真话。没有回到作坊的意见,只是柜台上的噪声。闭环一断,手艺就停在旧图样上。改动被看见,下一轮才有依据。账本会说话。再改。

揭示

这个故事讲的是:用户反馈闭环

Feedback Loop 是把用户行为、错误、投诉、人工修正、业务结果等信号持续回流到产品、提示词、知识库、模型或流程中的机制。企业 Agent 不能只上线一次就算完成,必须让真实使用中的反馈变成可分类、可处理、可验证的改进输入,否则系统会在同类错误中反复消耗人工信任。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 退回的水壶:线上 Agent 的失败回答、低满意度任务或人工接管
  • 退货纸条:可结构化的用户反馈和业务结果信号
  • 按客人类型分放:按场景、客户、任务类型切分反馈
  • 每周改一小批:小步迭代提示词、知识库、流程和模型策略
  • 观察新壶:验证改动是否改善指标
  • 会变好的退货簿:可持续学习的反馈闭环

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

RLHF 数据采集偏好标注在线评估