这份基准解决什么教学任务

材料用于学习型号歧义、否定条件、单位、跨语言检索和证据管理。全部产品记录由作者构造，不来自客户私有资料。12条事实分别提供中文与英文，12道查询也提供两种语言；不是24个不同产品或24个独立采购意图。

其中10题有作者定义的相关文档，2题刻意没有答案。另有4张自行生成的几何图形图片与5条英文图文查询，检验颜色、形状和图中型号文字。图片不是商业产品照片，不能用于说明客户设备性能。

数据卡必须列明的内容

项目 本版本说明
数据来源 作者编制的合成事实与几何图像
事实和查询 12条双语事实、12道双语查询
无答案问题 保修与认证等未提供的信息
标签来源 作者定义，未独立双人复核
跨语言运行 2种查询语言×2种语料语言，共48条排名
图文运行 4张图、5条查询，保留排序与logit
外部AI平台 本轮未测试
适用用途 教学、代码复现、失败分析，不是商业验收

合成数据和自行制作的图像使用随包说明的许可；代码与第三方模型各遵循对应许可。公开下载不意味着可以更改模型原始许可或将教学结果冒充客户真实效果。

运行方法与版本固定

先按lab-dependencies.txt准备环境，运行controls.py与assessments.py获得规则与反例结果。media_labs.py的fixtures阶段生成PDF、图像与benchmark，models阶段运行固定修订的多语言向量模型和CLIP。首次下载模型需要网络，后续可使用缓存。

model-revisions.json记录模型修订，结果文件保留实际排序和运行时间。复现时不要偷偷更新模型后仍声称同版本。依赖、设备、缓存和线程设置影响运行时间，教学记录不提供跨硬件速度排名。

怎样解读已有结果

跨语言有答案题Top1分别为8/10、7/10、8/10、8/10，四组Recall@3均为10/10。这个结果说明相关文档在前三名中，不说明最终回答一定准确。无答案题仍会得到相似记录，因此必须另设拒答或证据不足处理。

图文实验的logit不是概率；“红色圆形”会同时匹配两张不同型号图片，单靠外观无法决定唯一商品。具体型号查询在这个小集合中的表现，也不能代表真实产品图、扫描件或复杂场景的泛化能力。

与首批检索实验如何区分

知识库另有首批9条产品记录、10道查询的BM25、向量、融合与重排实验。两份材料属于不同数据集与任务，不能把样本数直接相加后计算一个总准确率。每份报告应写清数据版本、查询集合和评分规则。

如果增加新题或修改标签，发布新版本与变更说明。调整参数时区分开发集与保留集；不要看过全部答案再挑最佳配置，却把结果称作未见样本表现。未来邀请独立标注者时，应保留分歧和裁决记录，而不是只保留最终一致标签。

智核增长为什么公开小型材料

智核增长公开教学材料，是让客户和开发者检查技术解释是否能够落到数据、代码与失败样例。它展示工程方法，不主张拥有独占数据集、自研基础模型或已经完成商业平台基准认证。

真实客户项目应另行构建获授权的数据、真实采购题集和可复核评估，不能将本包分数写进客户成效报告。SuperPDR与ELEREIN的历史案例继续在各自页面说明，教学模型排名不能替代其项目事实。

复现验收：别人拿到材料应能检查什么

验收对象 可执行检查 不能据此声称
文件完整 清单与摘要匹配 标签已经独立审核
数据规模 记录和查询标识唯一 代表真实市场分布
查询标签 有答案与无答案明确 所有合理答案都已穷尽
模型版本 固定修订号可查 模型是本站自研
排名结果 四方向48条齐全 商业平台引用率
图文结果 五条查询排名保留 对真实设备图普遍有效
规则实验 正反输入和输出一致 完整生产系统安全

复现者可以用同一输入重跑，比较排名与数值。浮点结果可能受硬件和库版本影响，不应只因末位小数不同就判断方法错误；但文档标识或主要排序变化应定位原因。保留原结果，再另存自己的环境与输出，便于追踪差异。

对这类公开小样本，最有价值的反馈通常是发现标签歧义、遗漏条件或不合理计分，而不是争取排行榜第一。增加样本前应先修正这些基础问题，并通过新版本记录修订。

下载、原始技术与后续扩展

无答案题的相关文档列表为空是有意设计，不是标注遗漏。评分程序应保留该状态，并另行检查系统是否承认证据不足。把最相近结果强行标为正确，会消除基准中最重要的一类失败检测能力。

下载完整基准与实验包。参考Sentence Transformers模型文档和CLIP模型卡。扩展方向包括更多真实授权语料、独立相关性标注与保留测试集；这些不作为本版本已完成的实验披露。

知识中心 · GEO服务 · 研究与证据