← 返回概念解读

Concept Fable精修版

提示优化器

Teleprompter · Prompt optimization tool

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

排练师不再凭嗓门教演员,而是拿样本一轮轮试戏

戏班有位提词先生,站在帘后提醒演员。早年他只凭记忆递词,演员忘到哪里,他就慌忙补一句。

新戏复杂后,提词先生常补错:该提醒情绪时念了台词,该提醒走位时说了道具。演员越依赖他,出错越显眼。一次演员忘了自己为何进场,提词先生只补了下一句台词。台词对了,情绪却错了,整场戏显得突兀。

班主让他把每场戏的提示写成小卡:何时提醒、提醒什么、遇到忘词如何补、哪些话不能直接说给观众听。排练后,哪张卡有效、哪张卡误导,都要修改。小卡第一版写得太密,演员一紧张看不清。班主让他把提醒分层:先救目标,再救关键动作,最后才补细碎词句。

后来提词不再是临场喊一句,而是一套经过排练的提示设计。演员仍在台前表演,提词先生在幕后让他们更稳定地到达正确状态。排练时,提词先生还会故意遮住一张卡,看演员是否能自行接上。能不提醒就不提醒,提醒只在分岔处扶一把。

班主也提醒他,提词不能盖过演员。提醒若太早太满,演员会丢掉自己的判断;提醒若太少,关键处又会坠场。

后来新戏开演前,提词先生会和演员一起走全场。哪里容易忘、哪里容易错情绪、哪里不能提醒得太露,都在排练里调好。提示要服务表演,不该抢走表演。

后来提词先生收了徒弟,也不让徒弟背万能句。每个演员紧张点不同,每出戏的转折不同,提示要随目标和失败样本调整。好扶手看似轻,背后却有反复试过的设计。班主最后把这些小卡和改动记录都收进戏箱,新戏开排先翻旧箱,再按新人重新试。提示不是临场聪明,而是把容易失手的地方提前铺好。

好提示像看不见的扶手。它不替演员演戏,却决定演员在紧张、遗忘和分岔时,能否被带回正确轨道。

揭示

这个故事讲的是:提示优化器

Teleprompter 在 DSPy 中指用于优化 prompts、demonstrations 或程序设置的优化器。它根据训练样本、评测指标和模块结构,搜索更有效的 few-shot 示例、指令或推理策略。企业使用它时,关键不是盲目自动调参,而是准备代表性数据、可靠指标和清晰任务边界。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 提示牌加要求:手工 prompt 修改
  • 好戏范本:few-shot demonstrations
  • 凭经验调:不可复现的 prompt engineering
  • 排练师:DSPy Teleprompter / Optimizer
  • 训练样本、验证样本、评分标准:优化数据和 metric
  • 保留好组合:搜索和选择 prompts / demos
  • 准确率、成本、召回:优化权衡指标
  • 最后洞察:Teleprompter 用数据和指标系统优化 LLM 程序

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

DSPy optimizerfew-shot examplesprompt compilationmetricbootstrap