网页返回200却没有可读正文：GEO抓取诊断的分层检查

一个状态码不能证明内容可用

服务器可能在200响应中返回登录页、验证码、空的前端容器或自定义错误提示。CDN也可能缓存旧页面。此时访问监控显示成功，搜索系统得到的却不是目标文章。另一方面，浏览器执行脚本后看见正文，不代表初始HTML里已经有相同内容。

把验证分成网络响应、原始正文、浏览器渲染、抓取许可、索引状态和实际引用六层。后一层不能从前一层自动推断。HTTP失败先处理网络；正文为空先定位生成过程；索引问题再查规范地址与指令，避免把所有异常都归因于“AI不喜欢内容”。

记录请求URL、最终URL、重定向链、状态码、内容类型、响应字节数和获取时间。检查是否跳到首页、登录或区域限制页。不要只发送HEAD请求判断正文，因为HEAD本来就不返回消息体。

随后读取初始HTML，确认唯一主标题、文章内容、规范链接和语言信息。检查meta robots及响应头中的X-Robots-Tag是否意外禁止索引。面向不同设备或地区的差异应记录实际响应，不能通过伪装搜索机器人提供与用户不同的正文来“修复”。真实爬虫身份核验和访问日志另见AI机器人日志。

assessment-results.json保存四段本地HTML及检查结果：完整正文、删除main内容后的空壳、增加noindex的页面、重复id的页面。检测器会报告缺失正文、禁止索引或重复锚点等问题。它只解析输入字符串，没有向商业AI平台发请求。

main只是本教学页面约定，不是所有网页必须使用的唯一语义标签。生产检测应适配真实模板的article或内容容器，避免把没有main但有完整正文的网站误判为空。本例也不执行JavaScript、不验证CSS可见性、不模拟Google渲染；这些检查必须另加浏览器和线上请求证据。

在页面加载前保存初始响应，再用浏览器等待正文容器稳定，比较正文长度、主标题和关键事实是否一致。如果内容仅在交互后出现，应判断抓取系统能否访问所需路径。还要检查遮罩、透明文字、溢出裁切和延迟加载失败，不能只比较DOM中有没有字符串。

设定明确检查点，例如型号AX220、20L和室内限制都必须在可见正文中同时存在。标题有而限制消失是事实完整性问题，不是纯视觉问题。对于真实网站，测试桌面与移动视口、脚本失败和缓存更新后的状态；本下载检查器不宣称已经覆盖这些浏览器情形。

若服务器返回空壳、错误页或被安全策略拦截，应先修复可访问性。若正文完整、许可正确、规范地址一致，而搜索平台尚未收录，需要看平台自己的抓取和索引诊断，不能仅靠重复提交保证收录。

Google HTTP状态说明解释不同响应对抓取的意义；成功响应仍可能被判断为软404。不要为了保持“全站200”而让不存在的文章返回首页内容。错误页面应有正确状态，迁移才使用有明确目的地的重定向。

智核增长将状态码、可读正文、关键事实、语言与canonical、内链、下载材料和移动端显示放在不同检查项中。上线后从公网重新读取页面，而不是把本地预览通过当作线上验收。若正文或附件不完整，保留回滚路径和发布记录。

这类技术修复改善候选来源的可访问条件，不直接证明AI引用率提升。具体引用需按平台矩阵和固定问题协议观察。客户后台、资料入口等受保护区域应继续保护，不能为了抓取率解除鉴权。

初始响应	浏览器观察	可能原因	下一项只读检查
空内容容器	脚本后有正文	客户端渲染依赖	检查初始数据与渲染条件
登录提示	用户已登录能看	公开页面误设鉴权	退出会话后读取目标
旧文章正文	强刷后仍旧	服务端或CDN缓存	比较响应摘要与发布包
正常正文	字色与背景相同	样式或主题错误	查看计算样式和截图
错误提示文本	页面外观正常	软错误页	核对目标是否真实存在
参数段缺失	其他内容可见	内容构建或截断	比较原始HTML关键字段

这些是诊断方向，不是看到一种现象就能确定根因。先保存证据，再逐项排除，避免同时改缓存、模板和安全策略后无法知道哪项有效。必要的修复也应保持网站访问控制边界，不以关闭全部防护作为默认解决方案。

状态检查通过后还要核对返回类型。如果下载PDF实际返回了HTML错误页，仅看扩展名和200仍会误判。对需要验收的附件检查文件签名或解析结果，并比较摘要；对页面则核对其主要事实和语言，不能只匹配品牌名，因为错误页也可能带相同导航。

下载HTML反例与检查器，运行assessments.py并查看html_checks。其作用是展示成功状态背后的内容风险，不是完整爬虫或自动安全绕过工具。Google AI功能指南提供索引与搜索展示的进一步背景。