Concept Fable精修版
Direct Preference Optimization, DPO · Alignment
先读故事。这里不急着给定义，先让问题自己长出来。
寓言故事
画坊训练学徒画门神，师傅没有时间逐笔标分。买主面对同一题目的两幅画，通常能说出更愿意挂哪一幅，却很难为眉眼、衣纹逐项打分。
老师傅收集每次成对选择，并记录题目、画风和评审背景。被选中的画是 chosen，另一幅是 rejected；这份关系比一张主观总分更接近买主的偏好。
学徒用这些选择调整画法，让同一题目下更受偏好的作品概率上升，另一幅相对下降。画坊没有先另造一位长期打分的评委，也没有把每次练习都变成在线试错。
不同买主的标准并不总是一致。画坊分开评审人群，检查偏好冲突、题目覆盖和过拟合，保留独立作品测试真实改进。
DPO 的关键是直接利用偏好对优化模型；流程更短不代表数据要求更低，偏好来源和验证集仍决定对齐是否可信。
概念落点
Direct Preference Optimization, DPO 是一种基于偏好数据直接优化语言模型的方法。它使用同一输入下被偏好的响应和未被偏好的响应对，训练模型提高偏好响应的概率、降低非偏好响应的概率，通常不需要先训练单独的奖励模型，也不需要复杂的在线 RL 过程。企业使用 DPO 做对齐或风格优化时，要关注偏好数据来源、一致性、覆盖面、基线模型选择和过拟合风险。
它重要的地方在于：它不只是一个术语，而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它，才能判断什么时候该加模型，什么时候该改流程，什么时候该补治理。
故事对应
Soloharness 判断
这个概念的实战价值，是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。