【seo与搜索引擎的对话】爬虫抓取策略

网站优化 2018-04-23

  抓取策略:那些网页是我们需要去下载的,那些是不需要下载的,那些网页是我们优先下载的,定义清楚之后,能节省很多无用的爬取。更新策略:监控列表页来发现新的页面;定期check页面是否过期等等。抽取策略:我们应该如何的从网页中抽取我们想要的内容,不仅仅包含最终的目标内容,还有下一步需要抓取的url.抓取频率:我们需要合理的去下载一个网站,却又不失效率。
【seo与搜索引擎的对话】爬虫抓取策略
  让我对“seo与搜索引擎的对话”这个课题有了一些思考,下面归纳的主要用于迎合上面提到的爬虫“抓取策略”。

  1、通过robots.txt和爬虫对话:搜索引擎发现一个新站,原则上第一个访问的就是robots.txt文件,可以通过allow/disallow语法告诉搜索引擎那些文件目录可以被抓取和不可以被抓取。

  2、通过metatag和爬虫对话:比如有的时候我们希望网站列表页不被搜索引擎收录但是又希望搜索引擎抓取,那么可以通过<metaname=“robots”content=“noindex,follow”>告诉爬虫,其他常见的还有noarchive,nosnippet,noodp等。

  3、通过rel=“nofollow”和爬虫对话:关于rel=“nofollow”最近国平写了一篇文章《如何用好nofollow》很值得一读,相信读完之后你会有很大的启发。

  4、通过rel=“canonical”和爬虫对话:关于rel=“canonical”谷歌网站站长工具帮助有很详细的介绍:深入了解rel=“canonical”

  5、通过网站地图**和爬虫对话:比较常见的是xml格式sitemap和html格式sitemap,xml格式sitemap可以分割处理或者压缩压缩,另外,sitemap的地址可以写入到robots.txt文件。

  6、通过网站管理员工具和搜索引擎对话:我们接触最多的就是谷歌网站管理员工具,可以设定googlebot抓取的频率,屏蔽不想被抓取的链接,控制sitelinks等,另外,Bing和Yahoo也都有管理员工具,百度有一个百度站长平台,内测一年多了仍旧在内测,没有邀请码无法注册。

  另外,这里面还衍生出一个概念,就是我一直比较重视的网站收录比,所谓网站收录比=网站在搜索引擎的收录数/网站真实数据量,网站收录比越高,说明搜索引擎对网站的抓取越顺利。

  暂时就想到这些,目的在于尝试性的探讨如何更有效的提高网站在搜索引擎的收录量。


本文由 深圳SEO子晨 创作,如果您还想了解更多关于SEO优化的文章,请点击查看SEO基础知识网站优化的其它文章,子晨博客(www.seozc.cn).

还不快抢沙发

添加新评论