robots.txt文件的作用

SEO基础知识 2018-01-31

robots.txt是什么?

  有没有想过,如果我们某个站点不让百度和google收录,那怎么办?

  搜索引擎已经和我们达成一个约定,如果我们按约定那样做了,它们就不要收录。
robots.txt文件的作用
  这个写约定的的文件命名为:robots.txt

  robots.txt是一个最简单的.txt文件,用以告诉搜索引擎哪些网页可以收录,哪些不允许收录。

关于robots站长需要注意以下几点:

  如果你的站点对所有搜索引擎公开,则不用做这个文件或者robots.txt为空就行。

  必须命名为:robots.txt,都是小写,robot后面加"s"。

  robots.txt必须放置在一个站点的根目录下。如:通过www.seozc.cn/robots.txt可以成功访问到,则说明本站的放置正确。

  一般情况下,robots.txt里只写着两个函数:User-agent和Disallow。

  观察这个页面并修改为自己的:www.seozc.cn/robots.txt

  有几个禁止,就得有几个Disallow函数,并分行描述。

  至少要有一个Disallow函数,如果都允许收录,则写:Disallow:,如果都不允许收录,则写:Disallow:/(注:只是差一个斜杆)。

  补充说明:

  User-agent:*星号说明允许所有搜索引擎收录

  Disallow:/guanyu.html说明www.seozc.cn/guanyu.html这个页面禁止搜索引擎抓取。

  Disallow:/index.php?说明类似这样的页面www.seozc.cn/index.php?s...&searchcategory=%25禁止搜索引擎抓取。

robots协议

  spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。

robots.txt文件放在哪里?

  robots.txt文件应该放置在网站根目录下。

  首先会检查该网站中是否存在www.seozc.cn/robots.txt这个文件

robots格式

 User-agent:*

  Disallow:

  allow:

  "*"和"$"的含义

  Baiduspider支持使用通配符"*"和"$"来模糊匹配url。

  "$"匹配行结束符。

  "*"匹配0或多个任意字符。


本文由 深圳SEO子晨 创作,如果您还想了解更多关于SEO优化的文章,请点击查看SEO基础知识网站优化的其它文章,子晨博客(www.seozc.cn).

还不快抢沙发

添加新评论