Google爬虫通常沿可抓取链接发现内容,不会像用户一样点击“加载更多”按钮。应为后续内容提供稳定、可访问的网址和普通链接,同时保留方便用户的交互。仅在页面点击后看到更多卡片,不足以证明搜索系统已经发现这些入口。

规则依据:Google Search Central:分页与增量加载。

先区分显示与发现

“加载更多”可以让手机阅读更方便,但交互成功与搜索发现是不同检查。读取初始HTML,确认后续文章或产品链接是否已存在,还是必须执行点击请求才能生成。隐藏但已在HTML中的链接,与尚未请求到的内容,也不是完全相同的技术情况。

给后续集合稳定的网址

如果采用分页或增量加载,应让相应内容能通过独立网址读取,并用普通a元素的href链接连接。不要只依靠一个点击事件或改变片段标识来代表下一页。每个入口应返回它对应的内容,不能所有分页网址打开后都显示第一页。

增量加载与内容发现,流程为读取初始链接 → 提供后续网址 → 保留清楚关系 → 验证交互与响应
增量加载与内容发现:读取初始链接 → 提供后续网址 → 保留清楚关系 → 验证交互与响应。

同时保留可用的用户操作

前端可以继续提供加载按钮,但不能让它成为唯一的发现方式。分页链接和增量内容应保持顺序清楚,手机上也能访问。不要将所有后续页的canonical都指向第一页,因为这些页面包含不同集合,并不自动属于同一内容的重复副本。

分别验证HTML与真实界面

核对初始页面、后续网址及链接响应,再用浏览器检查按钮、返回和滚动体验。网站地图可辅助发现,但不能代替清楚的页面关系。验收时分别记录可读取链接、交互可用和搜索报告状态,不把“按钮能点”直接写成“全部内容已被Google收录”。

重点对照

信息项核对内容需要注意
初始HTML确认链接是否真实存在点击后可见不等于已发现
后续网址稳定访问对应内容集合片段变化不能代替分页地址
链接关系用href连接相关页面地图不能代替所有阅读路径
增量加载与内容发现对照:初始HTML、后续网址、链接关系
增量加载与内容发现:初始HTML、后续网址、链接关系。

常见问题

一定要取消加载更多按钮吗?

不必。可以同时保留用户交互和可抓取的后续入口,关键是两者都正常。

所有分页都指向第一页更集中权重吗?

不能如此机械处理。不同集合的页面应按真实内容核对规范网址,而不是一律指向第一页。

参考资料