课程免费试听
新川教育
暑期班开班啦!学费大优惠中!仅限前20名.
教学方式任选:1.面授;2.远程在线教育;
蜘蛛spider的抓取方式-专业SEO技术教程(11)

来源:新川教育 阅读数:822
添加时间:2017-11-21   类别:SEO教程

 蜘蛛spider的抓取方式-专业SEO技术教程(11)

 

 

  对于搜索引擎来说,要抓取互联网上所有的网页几乎是不可能的。那么蜘蛛是怎么抓取的呢?今天我们就继续来讨论昨天的话题:搜索引擎的工作原理还有那些?一起来看看!

  从目前公布的数据来看,容量最大的搜索引擎也不过是抓取了整个网页数量的40%左右。这其中的原因一方面是抓取技术的瓶颈,无法遍历所有的网页,有许多网页无法从其他网页的链接中找到;另一方面是存储技术和处理技术的问题。如果按照每个页面的平均大小为20K计算(包含图片),100亿网页的容量是100-2000G字节。即使能过存储,下载也存在问题(按照一台机器每秒下载20K计算,需要240台机器不停地下载一年时间,才能把所有网页下载完毕)。

  同时,由于数据量太大,在提供搜索时也会有效率方面的影响。因此,许多搜索引擎的搜索引擎蜘蛛只是抓取哪些重要的网页,而在抓取的时候,评价重要性主要的依据是某个网页的链接深度。

  在抓取网页的时候,搜索引擎蜘蛛一般有两种策略:广度优先和深度优先。广度优先是指搜索引擎蜘蛛会先抓取起始网页中链接的所有网页,然后再选择其中一个链接网页,继续花去在此网页中链接的所有网页。这是最常用的方式,因为这个方法可以让搜索引擎并行处理,提高其抓取速度。深度优先是指搜索引擎蜘蛛会从起始页开始,一个链接一个链接跟踪下去,处理完这条线路之后再转入下一个起始页,继续跟踪链接。这个方法有个优点是搜索引擎蜘蛛在设计的时候比较容易。

  由于不可能抓取所有的网页,有些搜索引擎蜘蛛对一些不太重要的网站,设置了访问的层数如下图,A为起始网页,属于0层,B、C、D、E、F属于第1层,G、H属于第2层,I属于第3层。如果搜索引擎蜘蛛设置的访问层数为2的话,网页I是不会被访问到的。这也让有些网站上的一部分网页能够在搜索引擎上搜索到,另外一部分不能被搜索到。对于网站设计者来说,扁平化的网站结构设计有助于搜索引擎抓取其更多的网页。

  搜索引擎蜘蛛在访问网站网页的时候,经常会遇到加密数据和为网页权限的问题,有些网页是需要有会员权限才能访问的。当然,网站的所有者可以通过协议让搜索引擎只注意不去抓取,但对于一些出售报告的网站,他们希望搜索引擎能搜索到他们的报告,但又不能完全免费地让搜索者查看,这样就需要给搜索引擎蜘蛛提供相应的用户名和密码。搜索引擎蜘蛛可以通过所给的权限对这些网页进行网页抓取,从而提供搜索。而当搜索者点击查看该网页的时候,同样需要搜索者提供相应的权限验证。

感谢收看与关注,以上就是对蜘蛛spider的抓取方式的介绍,今天就分享到这里,明天继续更新,喜欢的朋友就请多多关注我们。

培训教程公众号 
扫描左图添加公众号,海量视频教程免费学.
教学任选:1.面授;2.远程教学;
暑期班火热招生中!提交电话,获取最少200元优惠.

      友情链接

  1. 办公文秘
  2. 关于我们
  3. 资料下载
  4. 开班信息
  5. 学员作品
  6. 学校图片
  7. 联系方式
  8. site map

地址: 广州市番禺区市桥街桥东路63号银座中心7楼全层(番禺中医院旁边,百德中心斜对面)   电话: 020-84829690   咨询QQ:522961923  点击这里给我发消息
Copyright 2005-2020广州新川教育 All rights reserved.粤ICP备11014454号-6