抓取、索引和排名是三个先后不同、可以分别观察的环节。抓取是Googlebot下载页面;索引是Google把页面内容分析、存储并纳入候选库;排名是用户搜索时,Google从索引中挑选并排序结果。页面没排名,不等于没被抓取;被抓取,也不等于已进入索引。判断问题出在哪一步,要看不同工具的反馈信号,而不是只看最终排名。
在Search Console里,“已发现但尚未抓取”通常说明URL被发现了,但抓取还没完成或优先级较低;“已抓取,尚未编入索引”说明Google已经取到页面,但还没有把它作为可展示结果收录;“已编入索引”只代表页面进入索引库,不代表任何关键词都有理想排名。排名还受查询词、竞争页面、内容匹配度和用户位置影响。
最直接的办法是选一个具体URL,在Search Console的网址检查工具里查看“测试实际网址”。如果返回无法访问或抓取失败,先处理抓取;如果抓取成功但显示“网址不在Google中”,再检查是否被noindex、canonical或robots规则排除。只有确认“已编入索引”后,才把问题转到排名层面。
这里要区分“可能原因”和“已经定位的原因”。例如,页面没有展示,可能是没被抓取、没被索引,也可能是被索引但排名很低。只有看到具体状态和HTML响应后,才能确定是哪一种。
方案一:优先修抓取。适用于网址检查显示抓取失败、robots.txt拦截、服务器错误、页面主要靠JavaScript渲染且渲染后内容为空的情况。处理顺序是恢复可访问性,再提交抓取。复查时看抓取状态是否变为成功。
方案二:优先修索引。适用于抓取成功但未编入索引,且页面存在noindex、错误canonical、重复内容或内容质量不足的情况。处理顺序是移除阻止索引的信号,确认页面能独立满足一个明确需求,再请求重新抓取。复查时看该URL是否进入索引,而不是立刻看排名。
如果页面已经编入索引,但目标查询排名不理想,就不该继续反复提交抓取。此时应检查标题与正文是否匹配查询意图、是否有更权威或更贴近的页面竞争、内链是否支持该页面。排名变化需要观察一段时间,不能把“请求抓取”当成提升排名的按钮。
假设一个页面在网址检查中显示“已抓取,尚未编入索引”,同时HTML里带有<meta name="robots" content="noindex">,那么原因已经定位为noindex,而不是抓取失败。移除该标签并重新抓取后,复查重点是索引状态,不是当天排名。
下一步:选一个你关心的URL,先记录它在网址检查中的抓取状态和索引状态,再决定是修抓取、修索引,还是进入排名优化。三步不要混在一起处理。