收录优化：源站正常而边缘节点异常时应保留哪些证据
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /683b12deafc1.html
📄
收录优化：源站正常而边缘节点异常时应保留哪些证据
当源站返回正常、日志里也能看到抓取请求，但边缘节点返回异常时，先不要急着改 robots.txt 或重新提交站点地图。此时最该保留的不是“抓取量下降”这类结论，而是能区分源站响应、边缘响应和抓取端实际看到内容的三类证据。保留顺序建议是：先固定异常请求的原始响应，再固定同一 URL 在源站与边缘的对照结果，最后固定时间线和影响范围。
先分清两个解释：是边缘响应坏了，还是抓取端没按预期处理
源站正常而边缘异常，通常有两种合理解释。第一种是边缘节点确实返回了错误状态、旧缓存或不完整内容，抓取端拿到的就是异常版本；第二种是边缘节点响应本身可接受，但抓取端因缓存、重试、区域调度或请求头差异，看到的是另一份结果。两者后续动作完全不同：前者要修边缘配置和缓存策略，后者要核对抓取端请求路径与回源链路。
能区分这两种解释的证据，不是“抓取量少了多少”，而是同一次请求在源站、边缘和抓取端三处留下的可对照记录。若只有抓取量变化，无法排除正常波动、抓取预算调整或站点结构变化。请求量或抓取量归零，也不能单独证明边缘处理正确，它可能只是抓取端暂时降低了该路径的访问频率。
必须保留的第一组证据：异常请求的原始响应
对出现异常的 URL，保留以下原始材料，不要只截图状态码：
- 请求时间、请求 URL、请求方法、请求头和响应头原文，尤其是缓存相关字段和内容类型。
- 边缘节点返回的完整响应体，哪怕它看起来是错误页、旧页面或空内容。
- 同一时刻直接回源得到的响应体，用于和边缘版本逐字对照。
- 该 URL 在抓取端实际收到的响应摘要，包括状态码、响应体长度和最终 URL。
这些材料的作用是回答一个具体问题：抓取端看到的是源站内容、边缘缓存内容，还是边缘错误页。若边缘响应体与源站响应体不一致，且响应头显示命中缓存，下一步应先处理缓存键和刷新策略，而不是先动 robots.txt。robots.txt 的抓取限制不等于可靠的索引移除，用它来“临时挡住异常页面”往往会让问题从边缘异常变成抓取受限，反而更难判断。
第二组证据：同一 URL 在源站与边缘的对照结果
只保留一条异常记录不够，至少要对同一 URL 做三组对照，并记录假设条件：
- 直连源站请求一次，记录状态码、响应体和关键响应头。
- 经过边缘节点请求一次，记录同样字段。
- 换一个网络位置或解析结果再请求一次，观察是否所有边缘位置都异常，还是只有部分节点异常。
假设某篇文章 URL 在源站返回 200 和完整正文，在边缘节点返回 200 但正文被截断，而另一条路径返回 404。此时可初步判断为边缘内容处理异常，而非源站内容缺失。若换网络位置后边缘响应恢复正常，则更可能是特定节点或调度路径的问题。这个判断会直接影响下一步：前者要查边缘缓存和内容改写规则，后者要查节点健康与调度记录。
站点地图不保证收录，所以不要把“重新提交站点地图”当作修复边缘异常的动作。它最多是通知抓取端有更新，不能替代边缘响应证据。
第三组证据：时间线和影响范围的固定方法
边缘异常往往不是全站同时发生，因此要固定时间线和范围，而不是只记录一个故障点。建议保留：
- 异常首次出现和最后一次出现的具体时间，精确到分钟。
- 受影响 URL 的抽样清单，按目录、模板或内容类型分组，而不是只列首页。
- 同一时间段内边缘节点的配置变更、发布记录或缓存刷新记录。
- 抓取端在该时间段内对同类 URL 的请求记录，用于判断是全部路径异常还是部分路径异常。
如果异常只出现在某个目录，且该目录在边缘有单独缓存规则，那么优先检查该规则；如果异常跨多个目录但集中在某个节点，则优先检查节点状态。这个动作的结果会决定下一步是回滚边缘配置，还是先隔离节点并继续观察。
保留证据时最容易犯的三个错
第一，只保留状态码，不保留响应体。状态码相同不代表内容相同，边缘返回 200 但内容为空或为旧版本，同样会影响抓取端对页面的判断。
第二，用抓取量变化代替证据。抓取量下降可能来自抓取预算调整、站点结构变化或正常波动，不能单独归因于边缘异常。
第三，把 HTTPS 当作安全或正常的证明。HTTPS 不保证边缘节点没有缓存错误、内容截断或配置回退。证书正常只说明传输层握手可用，不代表响应内容正确。
把上述三组证据固定下来后，再决定是修边缘缓存、回滚配置、调整回源策略，还是继续观察。若证据显示只有抓取端看到异常而源站和边缘都正常，下一步应核对抓取端请求头和解析路径；若证据显示边缘响应体与源站不一致，下一步应先处理边缘内容链路，而不是先提交站点地图或修改 robots.txt。
