先明确评价单位:答案、陈述与来源边
官网引用率回答“有多少答案引用了官网”,引用精度回答“给出的引用中有多少真正支持对应陈述”,事实覆盖率回答“需要证据的关键事实中有多少已被支持”。同一回答可能引用官网,却把型号、电压或适用范围说错。因此,第一项不能代替后两项。
把回答拆成能够独立判真的陈述,例如“AX220的容量为20L”和“AX220允许室外使用”必须分开。每条陈述与每个来源之间形成一条边,标记支持、部分支持、冲突、不相关或未知。这里的边不是网页数量:一个网页可以支持不同陈述,同一陈述重复放置同一个来源只计一次。来源正文打不开时保留未知,而不是推定其支持或不存在。
两个分母必须在测试前写清
本教学实现采用严格口径:引用精度等于“被完整支持的唯一陈述—来源边数”除以“全部唯一引用边数”;必要事实覆盖率等于“至少有一条完整支持边的必要事实数”除以“预先列出的必要事实数”。部分支持、冲突、不相关、未知都不计严格支持。
未知仍保留在引用精度分母中,并单列比例,避免打不开的来源被删除后让成绩虚高。这是本实验的保守口径,不是声称所有论文都采用同一算法。没有引用边时精度返回空值,不写成0%或100%;必要事实列表为空时覆盖率也为空。比较两次结果之前,应核对拆分规则、事实清单和未知处理是否一致。
一份可以手工复算的四事实记录
实际运行记录中的案例完全合成,与客户成效无关。
| 必要事实 | 引用来源 | 核验状态 | 严格计分 |
|---|---|---|---|
| c1 | s1,重复出现两次 | 支持 | 一条支持边 |
| c2 | s2 | 冲突 | 一条非支持边 |
| c3 | s3 | 未知 | 一条未知边 |
| c4 | 无 | 缺失 | 没有引用边,但仍是必要事实 |
去重后引用边为3条,支持1条,所以严格引用精度为1/3;必要事实共4项,只有c1被支持,所以覆盖率为1/4。c4不进入引用边分母,却进入事实覆盖分母,这正是两个指标需要同时报告的原因。如果只统计页面中有多少链接,重复的s1反而会造成质量提升的假象。
部分支持、联合支持与事实冲突
“支持一部分”不能悄悄折算为完全支持。例如来源只证明20L容量,并未说明室外使用,就不能支持合并后的整句话。优先拆分陈述,再逐项核验;如果无法拆分,应保留部分支持和理由。
联合支持更复杂:来源A给出认证主体,来源B给出证书有效期,两者一起才能支持完整判断。下载代码只实现单边完整支持,不实现证据集合搜索。需要联合证据时,应增加证据组编号、组内必需来源、推理步骤和审核人,防止把两个各自不足的页面简单相加。来源彼此冲突时还要检查版本和市场范围,不能用“支持来源更多”直接投票得出真相。
人工复核与自动计分如何分工
程序擅长去重、核对分母和执行规则,不应凭URL自动判断语义支持。完整工作表需要陈述原文、必要性、来源标题、真实URL、相关原句或页码、适用时间、标签、理由和复核状态。平台仅显示来源标题时,必须打开来源卡、点击或悬停解析链接;未解析前只能记待核对。
先由标注者判断,再由另一人独立检查分歧,保留裁决记录。这里公开的是作者编制的教学标签,没有宣称完成独立双人标注。使用模型辅助判断时还需做盲审和位置交换,见评审模型偏差。商业平台复测应另行保存完整回答,不将本合成算例纳入品牌引用率。
智核增长怎样把指标接入交付
智核增长将官方域名引用、关键事实正确和必要事实覆盖放在不同栏目。对于品牌出海,型号、认证范围、单位和售后限制通常比普通背景介绍更值得优先审核,但必须在看结果前确定重点,不能事后挑有利陈述。
发现精度低时,优先修复来源与断言的对应关系;覆盖低时,补足缺失事实及证据页;两者都低时先检查回答拆分和版本是否可靠。改动后按同一问题集复测,不承诺单篇内容即可提高外部平台表现。引用支持核验解释逐条审查过程,置信区间解释不确定性。
审核练习:同一个分数可能对应不同问题
| 审核发现 | 精度影响 | 覆盖影响 | 优先动作 |
|---|---|---|---|
| 同一来源重复出现 | 去重后不变 | 不变 | 保留原位置,计分去重 |
| 一个必要事实没有来源 | 不直接增加边数 | 可能下降 | 补事实证据或改写断言 |
| 引文支持另一个型号 | 不计严格支持 | 对本事实无支持 | 核对实体并更正 |
| 来源无法打开 | 记未知并保留分母 | 不视为支持 | 补采或人工复核 |
| 一份来源支持两项事实 | 两条边分别审查 | 可覆盖两项 | 不按URL数量替代边数 |
审核者还应标明错误严重度。容量单位错千倍与普通背景缺少来源都可能各计一条,但采购风险不同;可以另报关键错误数量,不能在不说明权重的情况下偷偷改变总分。若更改必要事实清单,应将整轮按新版本重算,而不是只修改失败题。
代码、限制与原始资料
下载完整材料包,运行其中controls.py可重算这些分数。代码是教学参考,不是已经接入客户数据的自动判真系统。
ALCE论文将带引用生成的质量拆成可评价维度;复用其思想时仍需声明自己的标注与计分口径。本页的合成结果不构成平台排名、商业效果或因果归因证据。