SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

按意思切段和按窗口滑动切段

文档切分会直接影响 RAG 能不能找回正确证据。按意思切段更像先读懂材料再下刀,按窗口滑动切段更像用稳定尺码覆盖全文;合同、手册、聊天记录适合的策略并不相同。

寓言

两位裁纸匠和那句被切开的承诺

城里的档案铺接到一批旧契约,掌柜要把厚厚的纸卷裁成小片,方便伙计按客人的问题取用。第一位裁纸匠先读纸卷,看到一段讲租期,一段讲违约,一段讲续约,就沿着意思的边界裁开。每张纸大小不同,边缘也不齐,但读起来像完整的小故事。

第二位裁纸匠嫌这样太慢,拿出一把铜尺,每隔同样长度裁一刀,下一刀再往前退一点,留出重叠的边。铺面很快堆满整齐纸片,编号清楚,少有空白。掌柜看着舒服,以为以后找东西会更稳。

头几天,两种纸片都派上了用场。有人问某条街的租期,第一位裁出的纸片正好讲完前因后果;有人问某个数字,第二位裁出的纸片总能覆盖到附近。掌柜于是让两人同时做,谁快用谁。

麻烦出在一份赔偿契约上。关键承诺写在长句里,前半句说明触发条件,后半句说明赔偿上限。铜尺刚好从中间切过去,检索时只拿回后半句,伙计以为只要损坏就赔全额。客人差点拿着错误解释去谈判。

第一位裁纸匠也出过错。他按意思裁出的纸片有长有短,遇到格式混乱的聊天记录,边界常常拿不准,有些闲话和决定混在一起。伙计找一句短答复时,反而被整段背景拖慢。

掌柜后来改了规矩。法律条款、产品手册和会议纪要先让懂内容的人按意思分段;日志、流水、聊天长串和缺少清晰标题的材料,用铜尺稳稳滑过去,并保留重叠。遇到高风险条款,还要检查切口有没有割断条件和结论。

铺子没有再争谁的剪刀更高级。掌柜只问纸卷是什么样,客人会怎样提问,取回纸片后要不要直接交给判读的人。裁纸的好坏,不在刀口漂亮,而在关键话落到同一张纸上。 后来铺里来了新伙计,掌柜让他先看三类旧案:一句话问数值的、整段问责任的、跨页问例外的。新伙计很快明白,同一把剪刀在不同案卷上会留下不同伤口。

语义分块

语义分块根据段落、主题、句意或结构边界切开内容,优先保留完整含义,适合合同条款、知识文章、流程说明等语义边界清楚的材料。

滑动窗口分块

滑动窗口分块按固定长度切分,并用重叠区域减少断裂风险,适合格式松散、边界不清、需要稳定覆盖的长文本或记录流。

故事对应

  • 按段落意思裁纸:语义分块依赖内容结构和含义边界
  • 铜尺固定裁切并留重叠边:滑动窗口分块用固定窗口和 overlap 提供稳定覆盖
  • 被切开的赔偿承诺:机械切分可能拆散条件、结论和限定语
  • 聊天记录边界拿不准:语义分块面对杂乱材料时也会不稳定
  • 按材料和提问方式选择剪刀:真实 RAG 项目要按文档类型、风险和查询模式选切分策略

落到 RAG 项目里

合同、政策、技术手册优先测试语义分块,因为答案常依赖完整条款;客服聊天、日志、流水、低结构长文可以先用滑动窗口保证覆盖。上线前不要只看 chunk 数量,要抽查高风险问题:条件、例外、金额、时效有没有被切散。