1、做SEO时，好是把Robots.txt文件写好，下面说下写法、搜索引擎Robots协议、是放置在网站根目录下robots.txt文本文件，在文件中可以设定搜索引擎蜘蛛爬行规则。

2、设置搜索引擎蜘蛛Spider抓取内容规则。

3、下面是robots的写法规则与含义、首先要创建一个robots.txt文本文件，放置到网站的根目录下，下面开始编辑设置Robots协议文件、允许所有搜索引擎蜘蛛抓取所以目录文件，如果文件无内容，也表示允许所有的蜘蛛访问，设置代码如下、User-agent、*...。

1、做SEO时，好是把Robots.txt文件写好，下面说下写法、搜索引擎Robots协议、是放置在网站根目录下robots.txt文本文件，在文件中可以设定搜索引擎蜘蛛爬行规则。

1、如何写robots.txt文件才能集中网站权重？什么是robots协议robots协议(也称为爬虫协议、爬虫规则、机器人协议等)也就是robots.txt，网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不希望被抓取。

2、•Robots协议是网站国际互联网界通行的道德规范，其目的是保护网站数据和敏感信息、用户个人信息和隐私不被侵犯。

3、•因其不是命令，是一种单方面协议，故需要搜索引擎自觉遵守。

4、淘宝利用robots屏蔽了百度蜘蛛的抓取淘宝的robots协议robots.txt放置位置robots.txt文件应该放置在网站根目录下。

5、例如，当spider访问一个网站(比如http、//www.taobao.com)时，首先会检查该网站中是否存在http、//www.taobao.com/robots.txt这个文件，如果Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。

6、robots.txt文件的写法操作步骤、新建一个文本文档，命名为robots.txt开始写robotsUser-agent、*(*针对所有搜索引擎)Disallow、/(禁止爬取所有页面，/代表目录)Disallow、/admin/(禁止抓取admin目录)Disallow、/admin(禁止抓取包含admin的路径)Allow、/admin/shtml(允许抓取admin目录下shtml文件)一个“/”表示路径，两个“/”表示文件夹Allow、/admin/php/(允许抓取admin下面的php文件的所有内容)Disallow、/.css$(禁止抓取所有带.css的文件)sitemap、***注意、•冒号后面有空格，空格后面都有/(都要以/开头)，开头第一个字母大写•因为搜索引擎蜘蛛来抓取网站的时候先看的就robots文件，我们把网站地图的地址放到robots协议中有利于搜索引擎蜘蛛的抓取，从而提高网站的收录。

1、做SEO时，好是把Robots.txt文件写好，下面说下写法、搜索引擎Robots协议、是放置在网站根目录下robots.txt文本文件，在文件中可以设定搜索引擎蜘蛛爬行规则。

2、设置搜索引擎蜘蛛Spider抓取内容规则。

3、下面是robots的写法规则与含义、首先要创建一个robots.txt文本文件，放置到网站的根目录下，下面开始编辑设置Robots协议文件、允许所有搜索引擎蜘蛛抓取所以目录文件，如果文件无内容，也表示允许所有的蜘蛛访问，设置代码如下、User-agent、*...。

1、您可以在任何文本编辑器中创建此文件。

2、该文件应为ASCII编码的文本文件，而非HTML文件。

3、文件名应使用小写字母。

4、语法简单的robots.txt文件使用两条规则、User-Agent、适用下列规则的漫游器Disallow、要拦截的网页这两行被视为文件中的一个条目。

5、您可根据需要包含任意多个条目。

6、您可在一个条目中包含多个Disallow行和多个User-Agent。

7、应在User-Agent行中列出什么内容？user-agent是特定的搜索引擎漫游器。

8、网络漫游器数据库列出了许多常用漫游器。

9、您可设置应用于特定漫游器的条目(通过列示名称)或设置为应用于所有漫游器(通过列示星号)。

10、应用于所有漫游器的条目应与下列条目类似、User-Agent、*Google使用多种不同漫游器(用户代理)。

11、用于网络搜索的漫游器是Googlebot。

12、Googlebot-Mobile和Googlebot-Image等其他漫游器遵循您为Googlebot设置的规则，您还可为这些特定漫游器设置附加规则。

13、应在Disallow行中列出什么内容？Disallow行列出了您要拦截的网页。

14、您可列出具体网址或网址模式。

15、条目应以正斜杠开头(/)开头。

16、要拦截整个网站，请使用正斜扛。

17、rDisallow、/要拦截目录及其中的所有内容，请在目录名后添加正斜扛。

18、rDisallow、/private_directory/要拦截网页，请列出该网页。

19、rDisallow、/private_file.html网址区分大小写。

1、如果您不想让Google或其他搜索引擎访问您网站中的某些内容,请用robots.txt文件指定搜索引擎抓取您的网站内容的方式。

2、这是google管理员工具对robots.txt功能的一个描述。

3、robots.txt文件说白了就是告诉爬虫哪些网址是可以被收录那些是禁止收录的。

4、对于大多数wordpress博主来说很少注意robots.txt,认为他无关紧要,其实不然,robots.txt在wordpress优化,网站seo方面有着很重要的作用。

5、robots.txt不光可以保护网站隐私链接不被搜索到,而且可以控制网站内容的重复和抓取错误。

6、下面我就写几种wordpress常用的robots.txt规则。

7、简单的robots.txt规则、User-agent、*Disallow、这是开放式的写法,Disallow、留空,是让搜索引擎收录所有链接。

8、安全性的robots.txt书写规则、User-agent、*Disallow、/cgi-bin/Disallow、/wp-Allow、/wp-content/uploads/Disallow、/*.php$Disallow、/*.inc$Disallow、/*.js$Disallow、/*.css$Disallow、/*.cgi$Disallow、/?s=有利于seo的robots.txt书写规则、(以本站为例)User-agent、*Disallow、/cgi-bin/Disallow、/wp-Disallow、*/rss.xmlDisallow、/author/Disallow、/page/Disallow、/tag/Disallow、*/trackback/Disallow、*/feed/Disallow、/*.php$Disallow、/*.inc$Disallow、/*.js$Disallow、/*.css$Disallow、/*.cgi$Disallow、/*?*Disallow、/?s=Sitemap、http、//www.pakelab.com/sitemap.xml先说所我为什么这么设置。

9、google管理员工具在分析我网站抓取错误信息的时候,发现大量链接是http、//www.pakelab.com/xxxx/rss.xml的形式,为了减少抓取错误,我就让搜索不爬这些链接,Disallow、*/rss.xml,如果你没遇到和我一样的问题这一条你可以不用加。

10、同样,如果你的网站有大量抓取错误的无效链接,你可以在这里指定不抓取。

11、再有就是网站元重复太严重(标题重复,描述重复,关键词重复),这严重影响搜索引擎排名,我看中的是文章页排名,所以像标签页,作者文章归档,月份存档页,分页这些我选择Disallow。

12、因为我的文章页面在google中的权重很高,流量几乎都是文章页面的,所以才这么设置。

13、这个根据自己网站实际情况选择性的设置。

14、feed和trackback的条款是一定要的,可以说wordpress80%以上的补充材料都是和它们有关。

15、wordpress官方robots.txt书写规则(国外)User-agent、*Disallow、/cgi-binDisallow、/wp-adminDisallow、/wp-includesDisallow、/wp-content/pluginsDisallow、/wp-content/cacheDisallow、/wp-content/themesDisallow、/trackbackDisallow、/feedDisallow、/commentsDisallow、/author/*Disallow、*/trackbackDisallow、*/feedDisallow、*/commentsDisallow、/*?*Disallow、/*?Allow、/wp-content/uploads#GoogleImageUser-agent、Googlebot-ImageDisallow、Allow、/*#GoogleAdSenseUser-agent、Mediapartners-Google*Disallow、Allow、/*#diggmirrorUser-agent、duggmirrorDisallow、/。

1、一个网站的网站地图和robots文件是搜索引擎首先去爬行的，但他们两者的作用也是各不相同，网站地图的作用是让整个网站内容清晰的展现给搜索引擎，而robots文件的作用就好比是一个导游一样指明了一个网站的哪些地方可以去爬行，哪些地方不可以爬行。下面就为大家分享一些关于robots文件编写规则，不然你知道了他的作用，不知道怎么编写，那岂不是很憋屈。 　　。

2、Robots.txt编写的开放性问题　　。

3、很多站长，尤其是新手站长对于Robots.txt的理解过于片面，他们认为既然Robots.txt可以规定蜘蛛的访问途径，那我们何必不开放，把所有文件都设置成可访问，这样一来网站的收录量不久立即上升了，其实问题远远没有我们想象的简单，大家都知道网站中一些固定的文件是不必传送给搜索引擎访问的，如果我们把网站“全方位开放”，后果就是加大网站服务器负载，降低访问速度，减缓蜘蛛的爬行率，对于网站收录没有一点用处，所以对于固定不需要访问的文件，我们直接Disallow掉就可以了。 　　。

4、一般情况下，网站不需要访问的文件有后台管理文件、程序脚本、附件、数据库文件、等等。 　　。

5、Robots.txt编写的重复性问题 　　。

6、我们每天都在写着原创内容，然后更新到自己的网站中，大家想过没有我们这样做的目的是什么?当然是为了讨搜索引擎的好，大家都知道搜索引擎很看重原创内容，对于原创内容的收录很快，相反，如果你的网站中充斥着大量的复制内容，那么我只能遗憾的告诉你，网站的前途一片渺茫。不过这也从另一个方面告诉我们要积极的利用robots文件禁止重复页面的代码，降低页面的重复度，但是在编写robots文件时一定要记得　　。

7、在User-agent后加入某个搜索引擎，例如User-agent:BaiduSpiderDisallow:/，如果没有加入，编写成User-agent:*Disallow:/形式，则是对网站所有内容的“屏蔽”。 　　。

8、Robots.txt编写的meta问题  。

9、在Robots.txt编写规则中，有一个取强参数法则，而且如果网站以及页面标签上同时出现robots.txt文件和meta标签，那么搜索引擎就会服从两个规则中较为严格的一个，即禁止搜索引擎对于某个页面的索引，当然如果robots.txt文件和meta标签不是出现一个文件中，那么搜索引擎就会遵循就近原则，就会索引meta标签前的所有文件。 。

1、User-agent:*允许所有搜索引擎抓取(注意每个":"后面的描述都是在加上空格之后的，User-agent:空格*)Allow:/允许抓取 。

2、Disallow:/admin/后台管理文件 。

3、Disallow:/require/程序文件 。

4、Disallow:/attachment/附件 。

5、Disallow:/images/图片 。

6、Disallow:/data/数据库文件 。

7、Disallow:/template/模板文件 。

8、Disallow:/css/样式表文件 。

9、Disallow:/lang/编码文件 。

10、Disallow:/script/脚本文件。

11、禁止所有搜索引擎访问网站的任何部分： User-agent:* Disallow:/ 。

12、允许所有的robot访问： User-agent:* Disallow:或者 User-agent:* Allow:/ 。

13、仅禁止Baiduspider访问您的网站： User-agent:Baiduspider Disallow:/ 仅允许Baiduspider访问您的网站： User-agent:Baiduspider Disallow: User-agent:* Disallow:/ 。

14、禁止spider访问特定目录：（需要注意的是对每一个目录必须分开声明，而不能写成 "Disallow:/cgi-bin//tmp/"） User-agent:* Disallow:/cgi-bin/ Disallow:/tmp/ Disallow:/~joe/ 。

15、允许访问特定目录中的部分url： User-agent:* Allow:/cgi-bin/see Allow:/tmp/hi Allow:/~joe/look Disallow:/cgi-bin/ Disallow:/tmp/ Disallow:/~joe/ 。

16、使用"*"限制访问url： User-agent:* Disallow:/cgi-bin/*.htm 。

17、使用"$"限制访问url： User-agent:* Allow:.htm$ Disallow:/ 。

18、禁止访问网站中所有的动态页面： User-agent:* Disallow:/*?* 。

19、禁止Baiduspider抓取网站上所有图片：（若是某一张图片，就是指到对应的图片路径和名称即可） User-agent:Baiduspider Disallow:.jpg$ Disallow:.jpeg$ Disallow:.gif$ Disallow:.png$ Disallow:.bmp$ 。

20、仅允许Baiduspider抓取网页和.gif格式图片： User-agent:Baiduspider Allow:.gif$ Disallow:.jpg$ Disallow:.jpeg$ Disallow:.png$ Disallow:.bmp$ 仅禁止Baiduspider抓取.jpg格式图片： User-agent:Baiduspider Disallow: 。

1、如果你的站点对所有搜索引擎公开，则不用做这个文件或者robots.txt为空就行。 。

2、必须命名为：robots.txt，都是小写，robot后面加"s"。 。

3、robots.txt必须放置在一个站点的根目录下。如：通过http://www.zer0v.com/robots.txt可以成功访问到，则说明本站的放置正确。 。

4、一般情况下，robots.txt里只写着两个函数：User-agent和Disallow。 。

5、有几个禁止，就得有几个Disallow函数，并分行描述。 。

6、至少要有一个Disallow函数，如果都允许收录，则写:Disallow:，如果都不允许收录，则写:Disallow:/ （注：只是差一个斜杆）。 。

7、User-agent:* 星号说明允许所有搜索引擎收录 。

8、Disallow:/search.html 说明http://www.zer0v.com/search.html这个页面禁止搜索引擎抓取。 。