长文档需要分段检索,但段落越短并不必然越好。单独一句“220 V”没有对象;单独一句“可以使用”没有条件;表格中的“20”甚至没有单位。切块应围绕证据完整性设计,而不是把一个固定字数当作通用SEO规则。
固定窗口究竟会丢什么
教学数据D1描述AX-220的供电、水箱和用途。程序分别以32、64、128个字符切开同一文本,保存每个窗口;同时提供作者手工整理的结构片段。前者是机械切分,后者是显式对照,不是声称程序已自动理解说明书。
AX-220 | electrical | Supply 220 V only. | D1 | v1
AX-220 | use | Indoor sealed hard floors. Do not use outdoors or on untreated wood. | D1 | v1
AX-220 | tank | Tank 20 L. | D1 | v1
两种结果都在实验输出的chunking字段。程序检查是否存在一个片段,同时保留型号与作者指定的完整约束短语。当前合成文本的实际结果如下:
| 方法 | 片段数 | 供电约束与型号同块 | 水箱容量与型号同块 | 完整使用限制与型号同块 |
|---|---|---|---|---|
| 32字符窗口 | 6 | 否 | 否 | 否 |
| 64字符窗口 | 3 | 是 | 是 | 否 |
| 128字符窗口 | 2 | 是 | 是 | 是 |
| 人工结构片段 | 3 | 是 | 是 | 是 |
这是字面约束保留检查,不是自动语义蕴含判断,也不是检索或生成质量评分。128字符窗口在这个短例子中同样保留三类条件,因此不能据此断言结构切块总是优胜。字符数不是Token数,更不是推荐网页段落长度;中文、英文和不同分词器的字符到Token关系也不同。
标题继承与表格关系
一条表格行至少应保留产品ID、列标题、值、单位、脚注和版本。若“充电器输入”标题被丢掉,220 V就可能被误当成电机电压;若只保留“可用于硬地面”,则“已密封”“室内”等条件可能消失。
| 结构 | 应与片段一起保存 | 不应猜测 |
|---|---|---|
| 手册章节 | 文件版本、章节路径、页码或定位符 | 从文件名推断当前版本 |
| 参数表 | 行对象、列名、单位、脚注 | 空单元格默认为上一行 |
| 限制段落 | 限制的主语、否定词、例外条件 | 将限制拆成无对象的短句 |
| 来源关联 | 原文件ID与片段范围 | 只有一个无法定位的首页链接 |
应先检查文档解析是否正确,再优化切块。解析阶段已把列错位,后续Embedding不能可靠还原原表。对于有安全含义的电气和适用条件,错误片段应阻断进入知识库。
上下文补充能做什么,不能做什么
Contextual Retrieval工程说明提供了在片段中补充文档上下文的思路。这是可尝试的内部检索方法,不是对所有公开网站都成立的排名建议。补充上下文时必须区分原文与生成补充,保留原始出处和变换记录。
生成式补充也可能引入错误:把产品系列名称当成具体型号,把上一版规格带入新版,或者将“未确认”改写为“已支持”。因此应对补充内容做字段对照;没有来源的解释不能通过重复多次变成事实。
怎样设计公平的切块比较
固定同一文档、同一问题、同一编码器和答案键,只改变切分方式。记录块数量、块长度、检索前k项、条件是否完整,以及最终答案是否被来源支持。切块后文档ID体系变化时,相关性标签也要映射到原始证据,不能直接沿用不兼容的块ID。
当前附件运行三个字符窗口、人工结构对照和字面约束检查,没有运行自动PDF解析或多种块大小的完整检索及生成评测,也没有证明结构切分提高了某个比例。这些未实施项应作为后续实验,不能从约束检查推导统计收益。
官网技术长文不需要迎合固定切块字数
Google的AI优化说明不要求网站为AI搜索采用特殊的切块规则。内部RAG的窗口参数由自建系统控制,公开网页怎样被外部平台分段并不由站长完全掌握。正确做法是让标题、定义、表格、限制和来源清楚,而不是把所有段落机械切成相同长度。
智核增长在B2B出海资料治理中,应保留中英文的同一事实边界,让型号和条件在被摘取后仍能辨认。这个工作可以减少资料自身的歧义,但对外部平台是否引用,仍需另做真实复测。
一份可操作的切块验收表
先将原文中的每条关键约束标成检查项,再逐块核对,而不是先选一个块大小再为结果找理由。AX-220例子至少检查型号、220 V、20 L、室内、密封硬地面和两项禁止用途。将“室内密封硬地面”缩成“硬地面”应记为范围扩张,不应因为保留了关键词而通过。对于表格,把一行复制到没有表头的空白文档中,若无法辨认数字含义,就应补回表头信息。
验收可以分三列:原文定位、片段中保留的内容、遗漏后可能导致的错误。每次调整窗口或标题继承规则都重跑同一检查表。还要分别统计可检索块数与独立事实数;重叠窗口可能把同一句话复制三次,这不是三份独立证据,也不能增加来源数量。
当父章节太长时,可以为候选保存短检索文本,同时把原章节定位作为展开依据。检索命中短文本后再取得关联章节,这是一种可设计的父子关系,不是本包已经实现的功能。展开内容也必须受到上下文预算限制,且不得把同章其他型号的参数混到目标产品里。
最后,应保留包含限制的负面问题,例如“不适合哪些表面”,而不只问“有哪些优点”。一个切块方案如果对卖点问题表现很好,却总丢失否定条件,就不适合拿来直接辅助采购建议。本轮结构片段是人工对照,自动解析和这些验收表的规模化执行仍需要单独工程验证。
下载完整教学包并对照原始数据。相关主题包括事实片段设计、来源血缘与引用支持核验。短FAQ用于直接答疑,技术正文负责解释过程和失败边界。