广东 广州     专业、实战网络营销培训、淘宝电商培训、电脑设计培训教程中心
全网营销视频及配套书籍在线销售
新川教育-专业的网络营销培训机构
网络营销培训咨询提示
学网络营销,送淘宝课!截止12月22日止.
网络营销选择培训班
蜘蛛spider的抓取方式-专业SEO技术教程(11)-广州番禺新川教育(原远行教育)。
蜘蛛spider的抓取方式-专业SEO技术教程(11)

来源:广州新川(原远行教育) 阅读数:297
添加时间:2017-11-21   类别:SEO教程

 蜘蛛spider的抓取方式-专业SEO技术教程(11)

 

 

  对于搜索引擎来说,要抓取互联网上所有的网页几乎是不可能的。那么蜘蛛是怎么抓取的呢?今天我们就继续来讨论昨天的话题:搜索引擎的工作原理还有那些?一起来看看!

  从目前公布的数据来看,容量最大的搜索引擎也不过是抓取了整个网页数量的40%左右。这其中的原因一方面是抓取技术的瓶颈,无法遍历所有的网页,有许多网页无法从其他网页的链接中找到;另一方面是存储技术和处理技术的问题。如果按照每个页面的平均大小为20K计算(包含图片),100亿网页的容量是100-2000G字节。即使能过存储,下载也存在问题(按照一台机器每秒下载20K计算,需要240台机器不停地下载一年时间,才能把所有网页下载完毕)。

  同时,由于数据量太大,在提供搜索时也会有效率方面的影响。因此,许多搜索引擎的搜索引擎蜘蛛只是抓取哪些重要的网页,而在抓取的时候,评价重要性主要的依据是某个网页的链接深度。

  在抓取网页的时候,搜索引擎蜘蛛一般有两种策略:广度优先和深度优先。广度优先是指搜索引擎蜘蛛会先抓取起始网页中链接的所有网页,然后再选择其中一个链接网页,继续花去在此网页中链接的所有网页。这是最常用的方式,因为这个方法可以让搜索引擎并行处理,提高其抓取速度。深度优先是指搜索引擎蜘蛛会从起始页开始,一个链接一个链接跟踪下去,处理完这条线路之后再转入下一个起始页,继续跟踪链接。这个方法有个优点是搜索引擎蜘蛛在设计的时候比较容易。

  由于不可能抓取所有的网页,有些搜索引擎蜘蛛对一些不太重要的网站,设置了访问的层数如下图,A为起始网页,属于0层,B、C、D、E、F属于第1层,G、H属于第2层,I属于第3层。如果搜索引擎蜘蛛设置的访问层数为2的话,网页I是不会被访问到的。这也让有些网站上的一部分网页能够在搜索引擎上搜索到,另外一部分不能被搜索到。对于网站设计者来说,扁平化的网站结构设计有助于搜索引擎抓取其更多的网页。

  搜索引擎蜘蛛在访问网站网页的时候,经常会遇到加密数据和为网页权限的问题,有些网页是需要有会员权限才能访问的。当然,网站的所有者可以通过协议让搜索引擎只注意不去抓取,但对于一些出售报告的网站,他们希望搜索引擎能搜索到他们的报告,但又不能完全免费地让搜索者查看,这样就需要给搜索引擎蜘蛛提供相应的用户名和密码。搜索引擎蜘蛛可以通过所给的权限对这些网页进行网页抓取,从而提供搜索。而当搜索者点击查看该网页的时候,同样需要搜索者提供相应的权限验证。

  不被别人打败的唯一法宝就是比别人学的更快一步。---广州新川教育。

  感谢收看与关注,以上就是对蜘蛛spider的抓取方式的介绍,今天就分享到这里,明天继续更新,喜欢的朋友就请多多关注我们。

客服中心

点击这里给我发消息
黎老师

扫描添加微信号

广州新川教育微信号

展开客服

      友情链接

学校简介 |  教学优势   |   开班信息     |   学员作品  |   学校图片  |  师资介绍 |   资料下载   
工作推荐  |   CAD培训   |  平面设计  |   室内设计  |  办公文秘 |   办公文秘教程 | 美术培训  | site map
地址: 广州市番禺区市桥街桥东路63号银座中心7楼全层(番禺中医院旁边,百德中心斜对面)   电话:020-84829690 84824066 咨询QQ:522961923  点击这里给我发消息
(4,5,6B,8,10,12,13,160,147路公共汽车在番禺中医院站或百德商业中心站下车即到)
(3,11,18,22,22B,51B,92,96,97,99,100,102,105,141,148,149,150,150B,303,309,310路公共汽车在交通大厦站下车,向番禺中医院方向走大约200米即到。)
1,20,20B,9路公共汽车到市桥大桥北站下车,向番禺中医院方向走100米左右即到。)
Copyright 2005-2020广州新川教育 All rights reserved.粤ICP备11014454号-6

 新浪微博     新浪博客   天涯博客    和讯博客