长文档需要分段检索,但段落越短并不必然越好。单独一句“220 V”没有对象;单独一句“可以使用”没有条件;表格中的“20”甚至没有单位。切块应围绕证据完整性设计,而不是把一个固定字数当作通用SEO规则。

固定窗口究竟会丢什么

教学数据D1描述AX-220的供电、水箱和用途。程序分别以32、64、128个字符切开同一文本,保存每个窗口;同时提供作者手工整理的结构片段。前者是机械切分,后者是显式对照,不是声称程序已自动理解说明书。

AX-220 | electrical | Supply 220 V only. | D1 | v1
AX-220 | use | Indoor sealed hard floors. Do not use outdoors or on untreated wood. | D1 | v1
AX-220 | tank | Tank 20 L. | D1 | v1

两种结果都在实验输出的chunking字段。程序检查是否存在一个片段,同时保留型号与作者指定的完整约束短语。当前合成文本的实际结果如下:

方法 片段数 供电约束与型号同块 水箱容量与型号同块 完整使用限制与型号同块
32字符窗口 6 否 否 否
64字符窗口 3 是 是 否
128字符窗口 2 是 是 是
人工结构片段 3 是 是 是

这是字面约束保留检查,不是自动语义蕴含判断,也不是检索或生成质量评分。128字符窗口在这个短例子中同样保留三类条件,因此不能据此断言结构切块总是优胜。字符数不是Token数,更不是推荐网页段落长度;中文、英文和不同分词器的字符到Token关系也不同。

标题继承与表格关系

一条表格行至少应保留产品ID、列标题、值、单位、脚注和版本。若“充电器输入”标题被丢掉,220 V就可能被误当成电机电压;若只保留“可用于硬地面”,则“已密封”“室内”等条件可能消失。

结构 应与片段一起保存 不应猜测
手册章节 文件版本、章节路径、页码或定位符 从文件名推断当前版本
参数表 行对象、列名、单位、脚注 空单元格默认为上一行
限制段落 限制的主语、否定词、例外条件 将限制拆成无对象的短句
来源关联 原文件ID与片段范围 只有一个无法定位的首页链接

应先检查文档解析是否正确,再优化切块。解析阶段已把列错位,后续Embedding不能可靠还原原表。对于有安全含义的电气和适用条件,错误片段应阻断进入知识库。

上下文补充能做什么,不能做什么

Contextual Retrieval工程说明提供了在片段中补充文档上下文的思路。这是可尝试的内部检索方法,不是对所有公开网站都成立的排名建议。补充上下文时必须区分原文与生成补充,保留原始出处和变换记录。

生成式补充也可能引入错误:把产品系列名称当成具体型号,把上一版规格带入新版,或者将“未确认”改写为“已支持”。因此应对补充内容做字段对照;没有来源的解释不能通过重复多次变成事实。

怎样设计公平的切块比较

固定同一文档、同一问题、同一编码器和答案键,只改变切分方式。记录块数量、块长度、检索前k项、条件是否完整,以及最终答案是否被来源支持。切块后文档ID体系变化时,相关性标签也要映射到原始证据,不能直接沿用不兼容的块ID。

当前附件运行三个字符窗口、人工结构对照和字面约束检查,没有运行自动PDF解析或多种块大小的完整检索及生成评测,也没有证明结构切分提高了某个比例。这些未实施项应作为后续实验,不能从约束检查推导统计收益。

官网技术长文不需要迎合固定切块字数

Google的AI优化说明不要求网站为AI搜索采用特殊的切块规则。内部RAG的窗口参数由自建系统控制,公开网页怎样被外部平台分段并不由站长完全掌握。正确做法是让标题、定义、表格、限制和来源清楚,而不是把所有段落机械切成相同长度。

智核增长在B2B出海资料治理中,应保留中英文的同一事实边界,让型号和条件在被摘取后仍能辨认。这个工作可以减少资料自身的歧义,但对外部平台是否引用,仍需另做真实复测。

一份可操作的切块验收表

先将原文中的每条关键约束标成检查项,再逐块核对,而不是先选一个块大小再为结果找理由。AX-220例子至少检查型号、220 V、20 L、室内、密封硬地面和两项禁止用途。将“室内密封硬地面”缩成“硬地面”应记为范围扩张,不应因为保留了关键词而通过。对于表格,把一行复制到没有表头的空白文档中,若无法辨认数字含义,就应补回表头信息。

验收可以分三列:原文定位、片段中保留的内容、遗漏后可能导致的错误。每次调整窗口或标题继承规则都重跑同一检查表。还要分别统计可检索块数与独立事实数;重叠窗口可能把同一句话复制三次,这不是三份独立证据,也不能增加来源数量。

当父章节太长时,可以为候选保存短检索文本,同时把原章节定位作为展开依据。检索命中短文本后再取得关联章节,这是一种可设计的父子关系,不是本包已经实现的功能。展开内容也必须受到上下文预算限制,且不得把同章其他型号的参数混到目标产品里。

最后,应保留包含限制的负面问题,例如“不适合哪些表面”,而不只问“有哪些优点”。一个切块方案如果对卖点问题表现很好,却总丢失否定条件,就不适合拿来直接辅助采购建议。本轮结构片段是人工对照,自动解析和这些验收表的规模化执行仍需要单独工程验证。

下载完整教学包并对照原始数据。相关主题包括事实片段设计、来源血缘与引用支持核验。短FAQ用于直接答疑,技术正文负责解释过程和失败边界。

知识中心 · GEO服务 · 研究与证据