
文章允许抓取,不代表渲染所需资源也可读取。若关键JavaScript或CSS被robots、安全规则或资源域限制阻挡,搜索系统看到的内容和布局可能不完整;应按真实依赖处理,不为方便把整个插件或主题目录统一封死。
先确认关键内容依赖哪些资源
有些正文已在HTML中,另一些产品数据或导航需脚本生成。记录渲染截图、初始HTML和失败请求,区分样式缺失与内容缺失。不要因为管理员浏览器缓存里有脚本就认为首次抓取也能获得同样资源。
检查资源自己的访问链路
主题目录、插件目录、CDN及静态资源子域可能各有规则,主页面robots放行不涵盖所有主机。查看最终响应、robots匹配和安全拦截,确认失败是403、404、验证页还是错误缓存。必要时检查资源重定向及过期签名。

按需要开放公开渲染资源
公开页面正常展示所需的脚本和样式应采用合适访问策略,同时保持私密文件与后台控制。不能为了修一个脚本而开放整个敏感目录,也不应把任何插件目录视为天然不值得抓取。资源本身还应避免包含不该公开的配置或密钥。
修复后对比实际渲染结果
清理受影响缓存后,使用支持的检查工具确认主要内容、链接和页面状态可被读取,再检查手机真实体验。Google与其他抓取系统渲染能力可能不同,不将一种工具成功推定为全部AI都可处理。保留不依赖复杂交互的清楚内容入口。
关键区别

页面可抓取:主URL允许读取;不证明资源可用。
关键JS:可能生成主要内容;阻挡会影响理解。
公开资源:用于正常页面渲染;不应包含私密配置。
怎样确认处理到位
关键资源无误拦,检查工具可见主要内容及链接,手机正常,放行范围明确,未暴露私密文件或配置。
容易误判的边界
robots规则不是安全隔离;不要将Google的渲染能力推及所有AI爬虫,也不保证资源恢复后立即收录。
