页面测试工具告诉你某次模拟结果，服务器日志则记录实际收到的请求。日志能帮助回答哪些网址被访问、返回什么状态以及错误是否集中，但仍不能单独证明索引或引用。
先确认日志范围和爬虫身份
抓取审计至少需要时间、请求网址、状态码、用户代理、响应大小与耗时。识别爬虫不能只看名称字符串，还应按平台官方方法验证来源。
日志分析不能看到带bot字样的用户代理就认定为官方爬虫，也不能用访问次数直接推导收录率。
请求记录不等于索引或引用
先保存原始日志并控制访问权限，再按已验证爬虫、页面类型和状态聚合，与Sitemap和发布记录对照。
日志里看到某个用户代理请求文章页，并不能立即认定是真实平台爬虫。先依据目标平台说明核验IP或反向解析，再统一服务器、CDN与应用日志的时区和字段。确认身份后，才能按页面类型统计成功、重定向和错误响应。
新页面发布后可对照上线时间、Sitemap更新时间和首次有效请求，发现持续404或服务器错误就落到网址清单。访问记录只能证明请求发生，索引、答案引用和业务访问仍需各自证据。日志中的IP与查询参数还要按公司隐私规则保存。
从状态聚合关联到发布记录
1. 确认日志范围
记录服务器、CDN与应用层各自保留哪些字段、时区和保留期限，避免重复或缺失。
2. 验证爬虫身份
依据目标平台官方说明核对IP或反向解析流程，不信任可随意伪造的用户代理。
3. 聚合异常
按页面类型统计成功、重定向、客户端错误和服务器错误，定位持续失败的网址。
4. 关联发布记录
比较新页面上线、Sitemap更新时间和首次请求；是否索引与引用仍在各平台另行核验。
异常网址怎样进入修复清单
- [ ] 服务器、CDN和应用层日志的字段、时区及保留期限已有说明，重复记录和缺口能够识别。
- [ ] 目标爬虫按官方IP或反向解析流程核验，用户代理名称本身不作为身份结论。
- [ ] 成功、重定向、客户端错误与服务器错误按页面类型聚合，持续失败的网址能落到具体清单。
- [ ] 新页面发布时间、Sitemap更新时间和首次请求可以对照；索引及引用结果仍在平台侧独立记录。
日志能证明某个经过核验的请求何时访问了哪个网址，却不能证明页面随后被索引、更不能证明内容进入了答案。
事实边界
日志可能包含IP、查询参数或其他敏感信息，应按公司安全与隐私规则限制访问和保存。爬虫访问不等于内容被索引、检索或引用。