站点地图对搜索引擎爬虫的影响(实测)

zhushican 2014-8-21 20:9:1 seo教程 次阅读　查看评论

 像很多人一样，我总是陷入一些或好或坏的习惯之中。进来在为一个客户的网站做推广时候，我习惯性地创建了一个站点地图并提交到了搜索引擎，然后我就思考：是否站点地图真正能影响搜索引擎爬虫?

　　我为我的一个用WordPress建立的博客并通过"Google XML Sitemaps Generator"站点地图插件，并获得跟踪服务器流量记录的容许。这里你或许不知道google站点地图创建插件，它实际上就是当你早WordPress创建或者修改文章时候它能够帮你建立一个站点地图并提交到搜索引擎。

　　我的客户在他们的博客上发布了很多新的文章内容，通常每周2到3篇。通过观测记录，我发现提交网站地图到google和yahoo能够大量减少google爬虫登录和索引页面的时间。结构是令人惊喜地!当一个站点地图提交到搜索引擎，当Sitemap递交后，google的爬虫在平均时间14分钟后对新的文章页面进行了评估，yahoo也在平均时间245分钟后进行了重新评估。当Sitemap未递交，搜索引擎爬虫爬行到新文章google需要1375分钟，yahoo需要1773分钟。这个平均时间计算来源于我对12个新发布的文章，其中6个站点地图提交和6个不提交的的监测。

　　通过数据计算，我想我犯了一个错误。于是我重新回到我的站点，迅速为最新发表的文章建立一个站点地图提交到Google和yahoo。我检查log发现：30分钟后google的爬虫已经到达并为新发布的文章建立了索引。yahoo比Google稍慢。

　　而对没有站点地图的网站进行爬虫跟踪，我发现了网站的结构问题并导致搜索引擎爬虫无法迅速发现新的文章。当我检查站点并且跟踪其它页面的crawlability，我没有发现问题。但我发现当链接指向这些新的文章页面时候，爬虫进行了重新估算，但到最后还是没有进行索引重建。

为此，我努力搜寻答案，并最终找到了Rand’s发表的“My Advice on Google Sitemaps - Verify, but Don't Submit[我对谷歌站点地图使用的忠告：认证但不要提交]”，这让我们很为难。当我重读这篇文章，我发现他更关注有价值的搜索引擎爬虫。使用WordPress并使我的站点结构更具crawlable，为什么不提交站点地图呢?

　　通过这个实验我们知道站点没有自然爬虫的问题，所以我建议站长们向搜索引擎您的站点地图(Sitemap)，因为它能引导搜索引擎并加速爬虫的跟进和建立索引的速度。但假如您的站点存在结构完整性问题，不保证您的链接结构是正确的，我建议您不要递交Sitemap。这将帮助您抉择是否提交的问题。对于那些有巨大链接结构的站点，为什么不建立站点地图提交到Google或者yahoo以帮助搜索引擎更快更好的收录您的网站呢?