日志里出现AI爬虫，怎样确认身份、访问与正文交付

网站日志有助于排查抓取故障，但必须区分“看到了请求”“确认是某爬虫”“返回了可用内容”和“平台在答案中引用了内容”。把这四步混在一起，会把服务器活动误写成GEO效果。

先收集必要字段，减少敏感数据

记录UTC时间、请求ID、主机名、路径、方法、状态码、响应字节、耗时、User-Agent、边缘或源站标记。若保存IP用于身份核验，应限制访问与保留期；不要把客户表单、Cookie、Authorization头或带token的查询串放进公开实验资料。

2026-10-02T08:00:00Z request=demo-1
host=example.invalid path=/manual/ax-220
status=200 bytes=4200 ua="ClaimedBot/1.0"
identity=unverified body_check=pending

这是一条合成日志，不是官网真实访问。示例域名使用保留用途地址，不能据此统计某平台到访。本轮没有读取服务器访问日志或证明新增爬虫访问。

身份核验必须按平台规则

User-Agent可自行伪造。对于Google，按照验证Googlebot的官方说明使用对应验证方式；若采用DNS方式，需要反向与正向核验，不能只看域名后缀字符串。不同类型爬虫的验证范围也应分别处理。

OpenAI爬虫文档区分搜索、训练和用户触发访问；Perplexity爬虫文档给出其适用说明。官方提供地址范围时应从官方来源及时获取。不要把一份长期未更新的IP表当成永久准入规则，也不要凭UA直接绕过全部安全策略。

代理与CDN会改变你看到的IP

源站可能只看到CDN或负载均衡地址。真实客户端字段只有来自受信代理时才可信；任意互联网请求都可以伪造X-Forwarded-For。没有确定代理信任边界时，应将身份记为未验证，而不是尝试猜测。

边缘节点可能已返回缓存，源站没有日志不等于没有访问。相反，源站返回200而边缘触发验证页，也不代表抓取器拿到了正文。需要按请求ID或时间窗口对照边缘与源站记录，明确观察层级。

状态码200之后还要核正文

200可能对应登录页、安全挑战、空壳HTML或错误提示。检查Content-Type、正文标题、关键事实、语言和canonical，必要时保存脱敏片段及内容哈希。内容哈希变化只说明响应不同，不自动说明哪个版本正确。

让日志与其他证据各司其职

抓取诊断回答可达性，搜索控制台回答其平台报告范围，AI测试记录回答某轮答案出现情况。不同时间窗口和工具不能强行一一对应。某次请求可能用于缓存或检查，某个答案也可能引用以前抓取的版本。

本轮实验结果只来自本地合成资料检索，没有日志命中率或真实Bot身份数据。之所以将这个边界写清楚，是为了防止把程序成功运行误解成外部平台已访问官网。

按一次受控访问串联边缘与源站证据

先选择一个公开、不带用户信息的页面，记录请求时间、路径和预期正文特征，再分别核对边缘与源站日志。若源站没出现请求，查看是否由缓存响应；若边缘返回挑战页，查看对应规则，而不是只比较源站状态码。测试用的自定义User-Agent只能模拟请求条件，不能被写成“真实Googlebot已访问”。

把身份核验结果与响应结果分开保存，例如“身份未确认、正文正确”“身份已核验、403阻断”“身份已核验、200但正文错误”。不同组合对应不同动作。身份未知不意味着恶意，身份已验证也不意味着所有URL都应开放。后台、客户资料与管理接口仍应保留认证和访问限制，robots不是权限控制系统。

排查缓存差异时同时记录语言、主机名和重定向后的路径。英文页面被错误缓存成中文、IP地址访问命中默认站点、HTTP跳转多次，都可能让日志看起来成功而实际交付错误。修复后应用相同测试条件重新取正文，核对标题、canonical和关键参数，而不是仅检查一个绿色200。

最后建立最小化日志留存范围。公开报告使用汇总或脱敏片段；包含真实IP、访问令牌或客户输入的原始日志只能在受控位置处理。删去敏感字段时也应保留必要的关联ID，保证排查可重现但不暴露用户资料。本轮没有修改生产WAF、读取真实访问日志或宣布爬虫验证完成。

智核增长的排查顺序

智核增长为出海企业排查时，应先保证普通用户和被允许的抓取器能取得正确公开内容，再核对目标平台身份和抓取路径。涉及服务器规则的改动应备份、最小化修改并验证，不以“方便AI”为理由暴露后台或客户资料。

推荐将每个异常记录为时间、平台身份状态、路径、交付内容、修复动作和复核结果。继续阅读平台准入矩阵、抓取技术检查、引用指标。真实引用效果仍以完整回答与已核对来源为证据。

知识中心 · GEO服务 · 研究与证据