网上教学
网络营销培训专家新川教育
   著名实战网络营销课程培训机构.
全日制暑期班火热招生中!
网络营销,淘宝培训课程优惠
要想网站排名靠前,robots.txt文件必须写好!详解robots文件的制作

来源:新川教育 阅读数:174
添加时间:2019-7-3   类别:SEO教程

 要想网站排名靠前,robots.txt文件必须写好!详解robots文件的制作

  Robots文件是每个网站做优化时必做的文件!它必须放置在网站的根目录下面,它的作用是规定搜索引擎是否可以访问我的网站及规定具体访问哪些页面的文件。这样的话我们网站中很多不需要搜索引擎收录的页面我们就不允许搜索引擎读取,这样会节约它的时间和减少它的工作难度。以达到让搜索引擎喜欢我们的网站的目的。毕竟,做SEO就是一个如何让搜索引擎更喜欢我们的网站的过程。

  检查一个网站有没有做robots.txt文件的方式就是在网址后加robots.txt来访问,如:http://www.sjk8.com/robots.txt 如果一个网站不做robots文件,想排名好,基本是不可能的。如图:

  Robots文件具体的制作方法是,先新建一个文本文档,名字必须为“robots.txt”,内容写法如下:

  第一句简单理解为允许任何搜索引擎抓取,第二句表示可以抓取哪些文件夹,第三句表示不允许抓取哪些内容 。我们需要把所有不需要抓取的文件夹或者文件一一列举出来。

  注意“*”的使用,“*”代表任何字符,如*.css代表所有的css文件。

  在第二句中的/符号表示网站的根目录。如果我们的网站不允许哪个搜索引擎收录,比如不允许百度收录,robots.txt文件写法如下:

  第一句的baiduspider是百度蜘蛛名称,第二句表示不允许它抓取根目录下的其它任何文件或者文件夹。如果不允许哪个搜索引擎抓取,只需要更改上面的代码中的“baiduspider”就可以了。因为搜索引擎读取robots文件是一行一行从上向下读取的。先执行上面的语句,再执行下面的语句。

  比如:屏蔽一个文件夹/aa,但是又能抓取其中某个文件夹的写法:/aa/main

  robots.txt写法如下:

  如果需要访问这个被禁止的文件夹下面的某些文件,只需要把这些文件一个个allow就可以了,当然,如果是某个类型,也就是同一个扩展名的文件,可以用如下方式抓取:

  仅允许访问某目录下某个后缀的文件:

  robots.txt写法如下:

  仅允许访问某目录下某个后缀的文件,也可以使用“$”表达:

  robots.txt写法如下:

  常见搜索引擎蜘蛛的名字:

  Googlebot、Bingbot、360Spider、Yisouspider、Sogouspider、Yahoo! Slurp

  然后将制作好的robots.txt 文件上传至我们网站的根目录下即可。当然,后面的操作中我们还会更改robots.txt文件的相关设置。如增加网站地图地址,禁止抓取404等。我们下期继续更新!

      友情链接

  1. 办公文秘
  2. 美术培训
  3. SEM培训
  4. UI设计
  5. PS图片处理
  6. 营销就业班
  7. 跨境电商
  8. 微信营销
  1. 开班信息
  2. 教学优势
  3. 师资介绍
  4. 资料下载
  5. 工作推荐
  6. 学员作品
  7. 学校图片
  8. site map

地址: 广州市番禺区市桥街桥东路63号银座中心7楼全层(番禺中医院旁边,百德中心斜对面)   
电话: 020-84829690   咨询QQ:522961923  点击这里给我发消息 
咨询微信:18926224142     微信公众号:新川教育
Copyright 2005-2020广州新川教育 All rights reserved.粤ICP备11014454号-6

粤公网安备 44011302001949号