在SEO工作中,有的时候我们很少关心搜索引擎蜘蛛是如何工作的,虽然,它是一个相对复杂的工作系统,但对于SEO人员而言,我们有必要进行详尽的了解,它有利于指导我们有效的工作。
下面解读主流搜索引擎蜘蛛是如何工作的:
一、常见搜索引擎蜘蛛抓取策略:
1、深度优先遍历策略
简单理解,深度优先遍历策略主要是指建立一个起点,按照这个起点的顺序,顺序抓取链条上,没有被抓取的每个节点。但有的时候,面对“无限循环”节点的时候,这一策略便显得捉禁见肘。
2、宽度优先遍历策略
宽度优先便利策略,是早期搜索引擎常用的一种抓取策略,主要流程是提取整个页面中的URL,其中未被抓取的URL,就被放入待抓取列队,以此循环。
3、PR优先策略
RP优先策略是一个非常注明的链接分析方法,它用于衡量网页的重要性,通常它会计算一个页面上URL的PR,按照从高到低的顺序进行抓取。
由于PR值的计算,需要不断的迭代更新,通常这里所采用的都是非完全PageRank策略。
4、反链策略
反链策略,并没有一个明确的官方文档说明,这里小编认为,它主要是基于反链的数量以及种子页面的权威度,二者进行加权评估后,按照优先顺序抓取。
5、社会化媒体分享策略
社会化媒体分析策略,主要是指一个URL在社交媒体中的流行度,它的转载量,评论,转发量,综合指标的评估。
如果你的URL最先没有在百度网址提交,而是出现在社交媒体中,比如:头条文章,也是很有可能被百度抓取的。
6、爬行原理
搜索引擎蜘蛛访问网页的过程,就好比用户使用的浏览器。
搜索引擎蜘蛛向页面发出访问请求,该页面的服务器则返回该页面的HTML代码。
搜索引擎蜘蛛将收到的HTML代码存入搜索引擎的原始页面数据库中。
7、如何爬行
为了提高搜索引擎蜘蛛的工作效率,通常采用多个蜘蛛并发分布爬行。
同时,分布爬行还分为两种模式:深度优先和广度优先。
深度优先:沿着发现的链接一直爬行,直到没有任何链接。
广度优先:先这一页面上的所有链接爬行完毕之后,才会沿着第二层页面继续这样爬行。
8、蜘蛛必遵守的协议
搜索引擎蜘蛛在访问网站之前,都会先访问网站根目录下的robots.txt文件。
搜索引擎蜘蛛不会去抓取robots.txt文件中禁止爬行的文件或目录。
9、常见搜索引擎蜘蛛
百度蜘蛛:Baiduspider
谷歌蜘蛛:Googlebot
360蜘蛛:360Spider
SOSO蜘蛛:Sosospider
有道蜘蛛:YoudaoBot,YodaoBot
搜狗蜘蛛:Sogou News Spider
必应蜘蛛:bingbot
头条蜘蛛:Bytespider
Alexa蜘蛛:ia_archiver
互联网信息爆炸,搜索引擎蜘蛛不可能将所有网站的所有链接全部爬行到,那么如何吸引更多的搜索引擎蜘蛛到我们网站上来爬行变得非常重要。
1、 导入链接
无论是外部链接,还是内部链接,只有有导入,才能被搜索引擎蜘蛛知道该页面的存在。所以,多多做外链建设有助于吸引更多蜘蛛来访。
2、页面更新频率
页面更新频率越高,搜索引擎蜘蛛来访的次数也会越多。
3、网站和页面权重
整个网站的权重以及某一页面的权重(包括首页也是页面)影响着蜘蛛的来访频率,权重高、权威性强的网站一般都会增加搜索引擎蜘蛛的好感。
4、与首页的距离
首页>一级目录>二级目录>三级目录>四级目录…很显然,目录越深蜘蛛来访的几率和次数就会越少,因为一般外链都是指向首页的,首页再向下爬行,只会越来越少。
这里给大家的建议是,做外链的时候,不要只做首页外链,偶尔做一做栏目和聚合页面的外链也还是不错的哦~
有些时候,URL短,蜘蛛可能也会觉得这个链接的权重哦,所以,最好只做一级栏目,然后就是文章页面。
搜索引擎蜘蛛有一个专门的地址库,用来存放已经被发现的URL(已被抓取和未被抓取的都算,只要是被发现的URL都算),这样就不会出现重复爬行和抓取页面的情况了。
1、地址库URL来源
蜘蛛抓取的页面中发现的新的URL;
站长后台自主提交的URL;
站长后台提交的XML地图中的URL;
站长后台提交的网站URL;
2、对于未被抓取的URL
对于未被抓取的URL,不管是以什么方式获取的,哪怕是搜索引擎蜘蛛自己发现的,也会先放入地址库中,然后在做统一抓取。
搜索引擎蜘蛛将抓取的页面数据会存入搜索引擎的原始页面数据库中,其实,就可以理解为快照中看到的页面数据,和用户看到的是一样的,每一个页面的URL地址都有一个唯一的编号。
搜索引擎蜘蛛在爬行的过程中,会进行一定程度的原创内容检测。如果是权重低的网站上,发现了大量的转载或抄袭内容时,可能会停止爬行,这些页面可能也会不抓取与收录。
但并不是说网站就不能转载,像一些权重很高的平台,哪怕是转载了一篇旧闻排名也可以很好,因为搜索引擎蜘蛛可能会觉得,就算是旧闻可能也是高质量的吧。
本文链接: http://www.cjzzc.com/article/677.html
上一篇:2019年百度算法的变与不变
下一篇:黑客入门破解网络密码常用九个方法
PHP网站源码漯河网站排名优化韶关营销型网站建设楚雄seo优化推荐永湖网站改版价格东莞SEO按天扣费公司吉安网络广告推广公司海东seo网站优化公司湘潭网站关键词优化公司龙华网站设计推荐菏泽网站改版多少钱福州关键词按天扣费铁岭外贸网站设计价格南昌网站排名优化价格百色网站优化多少钱定西百度竞价包年推广价格塘坑建设网站天水网站推广方案报价昌吉阿里店铺托管公司张掖关键词按天扣费推荐福田网站设计模板黔南百度竞价包年推广推荐襄阳网站优化推广许昌网站优化推广哪家好金昌网站推广系统多少钱漳州SEO按效果付费公司黄石推广网站哪家好宣城阿里店铺运营公司萍乡网站定制价格商洛seo网站优化推荐延安SEO按天扣费报价歼20紧急升空逼退外机英媒称团队夜以继日筹划王妃复出草木蔓发 春山在望成都发生巨响 当地回应60岁老人炒菠菜未焯水致肾病恶化男子涉嫌走私被判11年却一天牢没坐劳斯莱斯右转逼停直行车网传落水者说“没让你救”系谣言广东通报13岁男孩性侵女童不予立案贵州小伙回应在美国卖三蹦子火了淀粉肠小王子日销售额涨超10倍有个姐真把千机伞做出来了近3万元金手镯仅含足金十克呼北高速交通事故已致14人死亡杨洋拄拐现身医院国产伟哥去年销售近13亿男子给前妻转账 现任妻子起诉要回新基金只募集到26元还是员工自购男孩疑遭霸凌 家长讨说法被踢出群充个话费竟沦为间接洗钱工具新的一天从800个哈欠开始单亲妈妈陷入热恋 14岁儿子报警#春分立蛋大挑战#中国投资客涌入日本东京买房两大学生合买彩票中奖一人不认账新加坡主帅:唯一目标击败中国队月嫂回应掌掴婴儿是在赶虫子19岁小伙救下5人后溺亡 多方发声清明节放假3天调休1天张家界的山上“长”满了韩国人?开封王婆为何火了主播靠辱骂母亲走红被批捕封号代拍被何赛飞拿着魔杖追着打阿根廷将发行1万与2万面值的纸币库克现身上海为江西彩礼“减负”的“试婚人”因自嘲式简历走红的教授更新简介殡仪馆花卉高于市场价3倍还重复用网友称在豆瓣酱里吃出老鼠头315晚会后胖东来又人满为患了网友建议重庆地铁不准乘客携带菜筐特朗普谈“凯特王妃P图照”罗斯否认插足凯特王妃婚姻青海通报栏杆断裂小学生跌落住进ICU恒大被罚41.75亿到底怎么缴湖南一县政协主席疑涉刑案被控制茶百道就改标签日期致歉王树国3次鞠躬告别西交大师生张立群任西安交通大学校长杨倩无缘巴黎奥运