网站SEO之Robots文件的操作及使用技巧详解

分类:SEO入门 作者:邂逅

  凡是SEOer应该对robots.txt并不陌生,通过该文件,搜索引擎就可以知道网站中哪些文件是可以被索引的,哪些文件是被拒绝索引的,这样就可以很方便地控制搜索索引网站内容了。本文就介绍下Robots文件的操作及使用技巧。

网站SEO之Robots文件的操作及使用技巧

一、robots.txt文件的作用

  1、屏蔽网站内的死链接。

  2、屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。

  3、阻止搜索引擎索引网站隐私性的内容。

  网站中重复的内容、页面或者404信息过多,搜索引擎蜘蛛就会认为该网站价值较低,从而降低对该网站的“印象分”,这就是我们经常听到的“降低权重”,因此通过建立robots.txt文件给蜘蛛“指路”是很有必要的。

二、robots.txt文件注意事项

  1、必须放置在一个站点的根目录下;

  2、文件名必须全部小写;

  3、最好是UTF-8编码。

三、robots.txt文件的基本语法

  第一条是:User-agent,搜索引擎蜘蛛的名称;

  第二条是:Disallow,要拦截的部分,禁止蜘蛛访问的部分。

  第三条是:Allow,放行的部分,允许蜘蛛访问的部分。

  第四条是:Sitemap,网站地图索引文件。

四、robots.txt使用要点

  首先我们来介绍Robots.txt的使用要点:

  1、每种http协议都可以有一个Robots.txt。如http和https可以分别有一个Robots.txt;

  2、文件名必须为小写。不能是RoBots.TXT;

  3、user-agent的名称以及user-agent,allow,disallow,crawl-delay,sitemap这些指示符的大小写不敏感;

  4、sitemap必须包括从HTTP或HTTPS开始的完整的URL。

  5、Robots.txt不是死链提交工具,想要删除死链索引还是应该登陆各搜索引擎站长平台提交。

  6、Robots.txt只做减法,有没有这个文件的区别即是去不去做这个排除。删除Robots.txt等于告诉搜索引擎完全开放蜘蛛爬行你的网站。

五、Sitemap太大了该怎么办?

  我们知道,一般来说搜索引擎对站点地图的大小和所包含的URL的数量都有所限制。比如百度对单个sitemap文件的限制是五万条URL和10MB的文件大小。在这种情况下,你可以在Robots.txt中给出多个sitemap文件的URL。除了这种分拆方式,你还可以使用sitemap索引文件。

  以上就是对“网站SEO之Robots文件的操作及使用技巧”的详细介绍,希望对大家能够有所参考。

上一篇:什么是死链?如何处理404死链? 下一篇:不能忽略的网站HTML代码标签优化!
猜你喜欢
起航SEO
各种观点
SEO优化如何解决网站内容收录和抓取的问题?
热门排行
网站日志分析中各返回状态码的含义!
精彩图文