SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

分块和检索增强生成

分块是拆卷宗——怎么把一篇长文档切成能检索的小节。检索增强生成是整座档案室——从拆卷宗到打标签到检索排序到拼接生成,是贯穿始终的工程链路。以为分块就是 RAG 的全部,等于把切菜的刀叫成了满汉全席——切错一刀整桌菜都变味,但饭好不好吃不能只怪刀工。

寓言

拆卷宗和整座文库

县衙档案室新来了一位编目员阿九。他把所有公文按五百字一节拆开,每节挂标签、编号,再存进检索柜。他管这件事叫拆卷宗。拆完一批,他就交给楼上同事录入系统,县衙的人以后能按关键词查历年公文。阿九觉得自己的活很窄,就是拆纸、挂签。

三个月后,抱怨来了。有人明明记得一份公文写着秋收减税,搜出来却全是零散句子。管检索的同事查了半天,发现核心条款正好被阿九裁在两节之间,哪一节都不完整。柜子找到了两个碎片,却没人知道它们本该连在一起。

阿九委屈地说,自己只管拆。上司把整座档案室的流程图贴到墙上:拆卷宗、挂标签、入柜、排序、拼接、回答。阿九只看过第一站,从没看见最后一站怎样把碎片拼回证据。

有些公文不到五百字,阿九就把两份短文合成一节。一份民事诉状和一份田产登记被塞在一起,标签写成民事加田产。后来有人查田产争议,拿到的半节却在讲诉状,答案被污染了。

上司改了规矩:核心条款不能跨节,每节首尾必须是完整意思;短文件宁可独立存放,也不强行凑满。阿九的岗位没变,但切法一变,楼上回答问题的质量就稳了许多。

新实习生问,为什么不把拆卷宗叫整套问答工程?上司说,拆卷宗只是第一步。后面还要找、排、拼、写。把第一步当成整件事,就像把切菜的刀叫成一桌宴席。

年终时,上司在拆卷处贴了一句话:你切下去的每一刀,都会变成后来被引用的证据边界。阿九这才明白,自己在上游多辨别一刀,下游就少踩十个坑。

从那以后,阿九拆卷前都会多看目录和摘要。档案室最值钱的地方,不只在柜子搜得快,也在卷宗被切开之前,有人知道哪一刀不能乱下。 后来凡是查错案,大家先回头看那一刀切在哪里。 这比换柜子更快。也稳。妥。

分块

将长文档按一定策略切分为可检索的小节的技术,涉及切分粒度、语义边界识别和重叠策略,直接影响后续检索的召回质量和生成的事实准确度。

检索增强生成

一个完整的系统工程链路,涵盖文档预处理、分块、索引构建、向量检索、结果排序、上下文拼接和大模型生成,每一环节相互依赖,共同决定最终答案质量。

故事对应

  • 拆卷宗(分块):RAG 链路的第一步,决定检索的最小单元
  • 整座档案室的流程图(RAG):从拆到标到搜到拼到生成的全闭环
  • 核心条款被裁成两半:切分策略错误导致检索召回碎片化
  • 民事诉状和田产登记被合并:不考虑语义的合并策略污染了检索结果
  • 拆卷标准改造:分块策略的调整能改善下游生成质量
  • 切菜的刀不是满汉全席:分块只是 RAG 的一个环节,不能代表整个工程链路

落到 Soloharness 项目里

客户说知识库不准时不要马上去加文档。先从分块那一站排查:核心信息是不是被切断了、短文档是不是被错误合并了、重叠窗口够不够大。分块策略改一行,下游的检索召回率可能比加十本书变化更大。给客户的优化方案里把分块策略单独列为一节——让它和向量模型选型、检索排序参数并列,而不是藏在「文档预处理」下面一行带过。