SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

保留上下级关系和按语义切开

父子分块关心检索命中后怎样带回更完整的上下文,语义分块关心切口是否落在自然含义边界上。一个处理小块命中和大块补全,一个处理文本应该在哪里断开。

寓言

摘录牌和整章书架

北街书库新开问事窗口,读者只说一句问题,书吏就要找出相关材料。年轻书吏把每本书按意思切成小卷:一卷讲定价,一卷讲退货,一卷讲保修。小卷读起来顺,放在柜台上也轻便。

另一位老书吏在每段摘录后面挂一根细绳,绳子连回原来的章节。读者问得细时,他先递出小摘录;读者要做决定时,他再把整章取下,让人看前后的限制、例外和定义。

起初,年轻书吏更受欢迎。他给的答案短,客人不用翻厚书。有人问保修几天,他拿出一句话就够了;有人问某个按钮在哪里,他递出一小卷说明,窗口排队很快变短。

后来来了一位采购主管,问一项服务能不能在海外使用。小卷里写着可以开通,年轻书吏据此回答。主管刚要签字,老书吏顺着绳子翻回整章,发现下一页写着只有经过数据审批的客户才能用。小卷一旦离开上级章节,答案就险些走偏。

老书吏的方法也有麻烦。每次都搬整章,判读的人会被无关段落包围。问题只问一个字段,整章却塞进来十几页,窗口又慢了下来。读者抱怨,自己只是想确认一句话。

馆长最后把两种做法合在规程里。索引用小摘录,便于精确命中;回答涉及承诺、限制、合规或多步流程时,必须带回父级章节。至于小摘录该怎么切,仍要尽量按意思划开,免得命中点本身就残缺。

书库变得安静许多。书吏不再把“切得自然”和“带回上下文”混成同一件事。一个决定刀口,一个决定命中后往上拉多大范围。问题问得越接近真实决策,这条区别越值钱。 馆长还让书吏记录每次误答:是小卷本身切坏了,还是小卷找对后没有拉回上层。记录攒了一个月,修法才不再靠争吵。后来遇到价格、责任、合规三类问题,窗口默认把父级一并呈上;遇到术语释义和按钮位置,才只递小卷。 关系也留下。

父子分块

父子分块通常用较小子块做检索命中,再把对应父块或章节带入上下文,缓解精确命中和完整背景之间的冲突。

语义分块

语义分块关注文本切分边界是否符合内容含义,让每个 chunk 尽量自洽,减少把条件、结论、定义拆开的概率。

故事对应

  • 自然小卷:语义分块产出的含义完整片段
  • 摘录后面的细绳:父子分块保留子块到父级上下文的关系
  • 海外使用条款漏掉审批限制:只检索小块可能缺少约束和例外
  • 每次搬整章造成拖慢:父块过大也会引入噪声和成本
  • 先命中小摘录再按风险带回整章:父子分块在真实问答中的典型使用方式

落到知识库检索里

如果系统经常命中正确句子却答不完整,要考虑父子分块;如果系统经常命中半句话、断裂条款或不自然片段,要先修语义分块。两者可以同时存在:小块负责找准,父块负责补足决策所需背景。