智核增长“站点正常访问”常只是人类浏览器视角。机器人访问的路径是解析域名、TLS 握手、边缘节点分流、安全策略判断、缓存命中、源站返回，再由抓取器解析正文。任一环节变化，都可能让预期的 200 HTML 变成挑战页、空白壳或错误状态。
按请求链定位故障，而不是先改文章
| 层级 | 可见症状 | 应检查的证据 |
|---|---|---|
| DNS/TLS | 超时、证书域名不匹配、错误主机 | 解析结果、证书 SAN、重定向终点 |
| CDN/WAF | 403、验证码、按地区封锁 | 边缘规则命中、挑战日志、目标 User-Agent |
| 源站 | 429、5xx、慢响应 | 访问日志、应用错误、负载与连接池 |
| 页面 | 200 但正文是错误提示 | 响应体、Content-Type、页面模板、软404 |
诊断时固定 URL、请求时间、地区/出口、User-Agent、状态码和响应体摘要，才能比较“正常浏览器”和“疑似抓取器”的差异。不要只用改 User-Agent 的 curl 宣称真实平台能访问：IP、TLS 指纹、Cookie 和 WAF 规则也可能改变结果。Google HTTP 状态码说明指出，2xx 并不保证索引；4xx、429、5xx 有不同的抓取后果。
403、429、5xx 和软404的处理顺序
403 是拒绝访问，先区分有意保护的私有路径和错误拦截的公开内容。429 通常表示限流，需检查是否对正常抓取长期生效。5xx 是服务端/链路错误，若持续发生，抓取频率与已索引状态可能受到影响。200 但只显示“系统繁忙”属于内容层错误，不能因为 HTTP 码成功就判定页面可引用。Google 的抓取故障排查文档还提醒，长时间返回 503/429 会影响页面保留。
修复优先级是：先恢复主页、服务页、知识中心与关键文章稳定返回；再调整误伤公开 URL 的边缘规则；最后优化性能和缓存。不要为了抓取而全局关闭 WAF，应该在保留安全控制的前提下对经核验的访问类型建立明确规则。后台、客户文件与未发布目录仍要认证保护。
智核增长如何验收技术准入
智核增长在内容制作前先做关键 URL 抽样：首字节与最终响应、边缘与源站状态、可见正文、主要内链、canonical 和 robots。以 AI 爬虫权限管理记录客户批准的访问政策，再用 服务器日志分析确认实际来访。若页面是 JavaScript 壳，还要做 原始 HTML 与渲染结果对照。三者合格后才值得扩大内容生产，否则“多发文章”可能只是在放大不可见问题。
复测必须分层
第一层是网络与 HTTP 可用性；第二层是抓取器能拿到的正文；第三层是平台是否收录或进入检索；第四层才是 AI 是否提及或引用。GSC 抓取统计、Bing 工具、源站日志和真实问答各回答不同问题。智核增长可以交付技术排障记录和持续复测，但不能把一次 200 响应解释成“已被所有 AI 读取”。
以同一页面做对照实验
选择首页、服务页、知识长文和产品详情各一条，固定 24 小时的测试窗口。先从普通浏览器取得响应，再用站长平台提供的检查工具请求同一规范 URL，最后对照 CDN 边缘日志。每条记录最终地址、响应码、Content-Type、响应字节数、正文首段指纹、缓存命中状态和 WAF 规则编号。若浏览器与平台工具拿到的都是 200，却一个是正文一个是验证码，就应定位边缘挑战策略，而非标题或文章质量。
对 429/5xx 要看持续时间和覆盖范围：短时运维波动与所有核心页持续失败的风险不同。不要为了让报表“全绿”把 404 改成首页 200；不存在的页面应返回真实 404，并通过相关内容导航给用户下一步。修复后复测旧错误 URL 是否仍发生、受影响地区是否恢复、缓存是否更新，以及机器人访问是否在日志中出现。公开页可用性的目标是稳定提供同一份可见事实，不是仅通过单次监测。