国内外各大搜索引擎索引量和收录响应速度以及sitemap抓取速度评测

最近因工作需要，有大量的新网页产生，大约5W条数据，等着搜索引擎主动抓取，可能黄花菜都要凉，所以整理了sitemap，然后向各大搜索引擎提交。趁着这个机会做一次各大搜索引擎对sitemap的抓取速度以及收录的释放速度进行评测。

一共提交了7个搜索引擎。

国内5个提交的这个搜索引擎百度、360、搜狗、神马、今日头条。

国外2个必应、谷歌。

众所周知，这些搜索引擎都是非常常见的搜索引擎。已经蕴含了国人97%的搜索场景，以半个月的时间为观察期，还是有一定的参考性。

一、sitemap网站地图抓取速度

通过持续半个月的跟踪对比发现，各大站长平台反应最迅速的不是国内的各大搜索引擎，而是国外的。

基本在提交半小时后bing和谷歌。都已经抓取到了网站sitemap的数量。如下图：

bing抓取：

谷歌google抓取：

百度隔天才去抓取，显示出了sitemapURL的数量。

360到是给力，半小时内也出结果，但是数量一直为零。这是唯一一个有结果但是出0的搜索引擎，一开始以为360站长平台有自己的规范，我的sitemap不符合人家的？后来才发现不是的

解决360抓取url数量为0的解决方法请详细看：  360站长平台提交站点地图sitemap.xml抓取的url数量为0的解决方法

搜狗的sitemap是邀请制，想要开通，需要向搜狗管理员申请发邮件申请，但是可以提交url，我直接提交了sitemap的url，因为没有权限，所以搜索的sitemap就不做说明了。

UC神马的则到现在都没有动静。显示暂未处理，都半个多月了，怀疑UC的网站事业部还存不存在？

经过各大搜索引擎对sitemmap.xml处理的速度发现

谷歌=bing>今日头条=360>百度>UC神马，搜狗因没有权限不做排名，且各大搜索引擎都对sitemap有一定的限制，通用限制是sitemap文件不能超过10M，包含的url不能超过5W条，经过实操才发现，基本数据到26000条的时候就超10M了，所以分为多个sitemmap分别提交。

对于各位中小站长这里要提一下，如果服务器带宽不是很给力，尽量越小越好，一个10M的文件，各大搜索引擎都去你网站抓，如果你服务器是5M的带宽，1个10M文件全速下载也需要10*1024/512=20S，20S啊，还只是一个搜搜引擎的抓取时间，如果你的服务器带宽是1M呢？况且真实的网站下行环境要远远不如这个理想化值，所以建议把sitemap的大小保持在3M内即可，url数量大概为10000条。如果你带宽足，任性随意！

搜索引擎处理过sitemap了，那么多久根据自己的机制去放出收录页面呢？

二、相信索引量和收录何时放出是各位站长特别关注的问题

先告诉各位站长结果.

bing>谷歌>百度=今日头条=360=搜狗=UC神马

在这半月期间：

1. bing当之无愧的NO.1

bing在隔天即放出了抓取的网页，在7个搜索引擎里堪称疯狂。经过 天线猫网站日志分析助手 发现，bing蜘蛛的来访相比较之前整整提升了300多倍，之前每天也就是200多次，现在竟达到近8W余次。

收录隔天就从1000升到了4000，然后第三天7000，第四天8000，第五天的时候。。因为网站毕竟不是正常更新，短时间大量的新页面产生，暂时被bing观察近小黑屋了，相信很快就会重新放出。

2.谷歌，谷歌是这索引放出来最高的搜索引擎，目前收录已达13000多，之前只有400多，且没有被关沙盒。从上图的日志统计数据也可以看出，谷歌的蜘蛛活跃度达到23760，仅次于bing

3.国内的几个搜索引擎响应速度超慢，观察期长，在后台可以看到索引量有小幅度上升，但是在半个月的时间里都没有放出索引，后续会继续观察。

（1）百度  百度对新数据放出来的时间比我想象中的要长，怎么说也是国内数一的搜索引擎，这种速度实在不敢让人恭维，但是他的死链处理相当的快，在这期间提交了死链url，2天内就删除掉不在展现了。对死链处理时效感兴趣的站长可以留言一下，百度每月有1-2次的大更新，希望最近的一次大更新可以有所起色。

（2）360 360收录量从一开始一直维持在1。这半个月内迟迟没有改观。

（3）今日头条  其实一个开始今日头条的sitemap响应时效还是比较让我寄予厚望的，结果也是半个月了依旧没有动静，甚至首页的快照都没更新过。

（4）搜狗  搜狗比360好点，未提交sitemap前抓了十几个网页，提交后除了更新首页快照快一点，新页面没有一点动静。

（5）神马搜索感觉没有一样行的，网站都没收录，我测试的站点都已经上线近5年了。

国内除了百度，上线5年的站点其他收录都是很一般，看到网上各位议论，因为没有百度的壕，服务器资源贵贵滴，所以响应速度慢，放出的页面少，基本上国内大多数站点都是百度的收录>其他搜索引擎。技术是一方面，主要还是没钱啊，抓多了存多了耗费服务器资源，耗带宽呀。

经过此次数据的期间，对各大站长平台有了更深一层次的认识，国外如bing和谷歌切实的从用户体验出发，会给您指出每一个页面的问题，让你可以快速定位和解决，且响应速度超快，用起来得心应手。出现问题各大帮助文档基本都能帮你解决。

国内的各大站长平台普遍响应速度慢，有些甚至无响应，但在一些功能上更贴近于国内用户，表现比较好的有老牌的百度，和新面孔的今日头条搜索，总的来说，希望国内的站长平台，奋起直追，提升响应速度，多贴近用户，功能上不要设置很多的条条框框，任到重远啊，还有很长的路要走。

此文我会持续关注更新，毕竟我们主要关注的是国内搜索引擎的响应情况，半个月内都没有反应，可能还需要更多的时间去沉淀，但是我的预感，百度应该很快就会有起色，让我们拭目以待。