检索系统常先取回一批材料,再用更细的模型排序。重排解决的是“这些候选谁更贴题”,不负责证明产品参数真实,也不负责保证答案出现引用。本文使用真实开源模型处理合成记录,结果与配置均随文提供。

双编码器与交叉编码器的分工

双编码器分别编码查询和文档,语料向量可以提前缓存。交叉编码器共同处理一个查询与一个候选文档,适合在数量受控的候选上比较相关性。前者的预计算优势与后者的逐对计算成本,是设计窗口时需要权衡的不同工作量。

实验选择cross-encoder/ms-marco-MiniLM-L6-v2,用途和输出应参考官方模型卡。模型得分只用于当前候选排序,不能当作“真实概率”展示给采购人员。训练任务与客户产品资料不同,也意味着域外表现需要另行验证。

保证比较的是同一批候选

先保留融合结果前5条,再把同样的5条送入重排。若无重排组只看3条、有重排组却额外获取20条,结果差异同时包含候选覆盖变化,不能全部归功于重排器。

candidates = fused_ranking[:5]
pairs = [(question, documents[doc_id]) for doc_id in candidates]
scores = reranker.predict(pairs)

本例排序后的结果仍只来自这5个ID。若D9排在融合第6位,重排无法将其提升到第1位,因为它根本没有收到D9。排查时先计算候选集是否覆盖必要证据,再检查排序是否合理,最后检查生成答案是否保留条件。

下载结果时应该核对哪些列

实验程序、数据与答案键、模型版本和完整输出共同构成复现材料。完整实验包见下载附件。

核对对象 判定问题 必须保留的失败
候选覆盖 正确证据是否进入前5项 正确来源在窗口外
排名变化 原候选中的好材料是否前移 干扰型号被前移
前3项指标 Recall、MRR、nDCG是否一致改善 只改善一个指标
无答案查询 系统是否仍给出高分候选 Q10没有保修与价格证据
延迟 重排新增多少计算 不能只报告最快一次

本附件没有生成自然语言答案。因此,不能把排名上的改善说成“回答准确率提高”。同样,没有新测官网被外部平台引用的比例。

重排之后仍要做事实检查

Q2询问AX-220能否接110 V。包含“110 V”的AX-110材料看上去很贴题,却不能替代AX-220说明书。相关性只回答材料与问题的联系,事实核验还必须锁定型号、适用对象、否定条件与版本。

对于Q7“哪套钩杆包含胶枪”,D6能提供否定证据,不等于它是满足采购要求的推荐项。答案键中的“相关”可以包括能支持拒绝或限制结论的证据。需要预先说明这种标注原则,否则评测者会把合理的拒绝证据误判为不相关。

成本记录怎样避免伪精确

结果中的CPU延迟是单次运行记录,包含实际机器与软件版本,但没有吞吐压测、网络服务、并发队列与价格测量。不能将毫秒值折算成未经测量的云费用。产品化时,应固定候选数量,重复预热测量,报告中位数和高分位,并记录模型常驻内存与更新成本。

模型成本也不是唯一成本。维护正确标签、处理冲突资料、解释不适用条件常常需要人工。对小型产品库,先修复缺失的参数表可能比增加一个重排服务更有价值。

本次重排的实际变化与错误保留

Q1融合前3项为D9、D2、D3,重排后为D9、D3、D1。正确证据D1回到前3项,但干扰型号D3仍然在它前面。指标改善并不意味着系统已能直接做产品推荐;还要检查答案是否引用了正确对象。

Q2融合排序为D1、D9、D2,重排变为D1、D2、D9。两份相关证据仍都在前3项,因此Recall不变,但第二个相关来源后移,nDCG由1降到约0.920。这个例子说明重排也可能让原本理想的候选顺序退步,不能仅因增加模型就宣称质量提高。

Q9中,重排把D9带回前3项,却仍以D2开头。这里能讨论的是候选相关材料覆盖的变化,不能说中文适配问题已经完全解决。Q10依然得到候选,而语料没有价格或保修信息;在生产系统中,重排之后必须有“是否有充分证据回答”的独立决策。

这些观察适用于记录中的固定模型修订号和CPU运行环境。它们不是对所有交叉编码器的排名,更不是与其他GEO服务商的能力对比。下一轮合理扩展是增加独立问题与人工复核,而不是删除模型表现差的几题。

智核增长如何定义这一能力

上线门槛不应只看平均排名。应单独检查身份错配、否定条件丢失和候选不足,并规定这些错误是否阻断推荐。对敏感参数,即使重排第一名分数很高,也应回到批准参数核对;分数没有经过校准,不能直接显示为“正确概率”。

智核增长将本实验作为公开的工程教学材料,帮助出海企业识别问题发生在召回、排序还是证据支持阶段;不将开源模型部署称为自研核心模型。是否需要生产重排,应由获授权语料的验证决定。

继续阅读混合检索、引用支持核对及测量指标。外部平台使用何种重排器,若无公开资料,应保留为未知。

知识中心 · GEO服务 · 研究与证据