1、搜索引擎爬去我们页面的工具叫做搜索引擎机器人，也生动的叫做“蜘蛛”蜘蛛在爬去网站页面之前，会先去访问网站根目录下面的一个文件，就是robots.txt。

2、这个文件其实就是给“蜘蛛”的规则，如果没有这个文件，蜘蛛会认为你的网站同意全部抓取网页。

3、Robots.txr文件是一个纯文本文件，可以告诉蜘蛛哪些页面可以爬取(收录)，哪些页面不能爬取。

4、举个例子、建立一个名为robots.txt的文本文件，然后输入User-agent、*星号说明允许所有搜索引擎收录Disallow、index.php?表示不允许收录以index.php?前缀的链接，比如index.php?=865Disallow、/tmp/表示不允许收录根目录下的tmp目录，包括目录下的文件，比如tmp/2html。

1、你好亲，robots是网站和搜索引擎爬虫之间的协议，当搜索引擎爬虫爬取一个网站之前，第一先访问该网站有没有robots协议，如果有按照设置的robots协议进行对网站的抓取，如果没有默认网站所有页面都可以被抓取。搜索引擎通过一个程序（搜索引擎蜘蛛），自动获取互联网上数亿的网页，经过分析和对比，筛选出质量优质的网页，进行收录和索引，后得到网页的排名，用户查询关键词就可以访问到被收录的网页。所以在网站的根目录创建一个robots协议用来告诉搜索引擎，网站这个页面可以被抓取，那个网页不让抓取。可以说robots协议是对搜索引擎蜘蛛的行为设定了要求。robots注意事项网站所有的内容都可以让搜索引擎抓取，我就不设置robots文件这是不对的，每次搜索引擎蜘蛛来到网站访问robots文件都会生成一个404页面，网页不存在，对网站有不好的影响。这种的可以在网站根目录放一个空的robots文件，什么都不写就可以了。设置所有网页都让搜索引擎抓取，可以增加收目率这个想法也是错误的，搜索引擎对html文件情有独钟，对JS、框架等文件很是排斥。网站的脚本文件、样式表等可以选择屏蔽，浪费服务器资源还得不到好处。蜘蛛抓取浪费服务器资源，在robots协议中屏蔽所有搜索引擎这样就把搜索引擎蜘蛛屏蔽了，搜索引擎蜘蛛不会抓取网站内的内容，也不会有收录robots文件需要放置到网站的根目录，url格式域名+robots.txtrobots文件可以放置网站地图的链接，搜索引擎蜘蛛每次到网站首先访问的就是robots文件，所以放上网站的网站地图，有利于搜索引擎蜘蛛发现更多的链接。robots文件必须是小写命名robots协议的设置robots文件的设置有两种参数，一个允许，一个拒绝。robots文件中有一条或多条声明，robots文件中可以用“#”进行注释。通常robots文件以一条或多条User-agent开始，之后有多行Disallow和多行Allow。。

2、User-agent这个声明的意思针对搜索引擎蜘蛛，该项的值设为“*”，表示的是所有的搜索引擎蜘蛛。搜索引擎蜘蛛包括：User-agent:Baiduspider#百度蜘蛛User-agent：360spider#360蜘蛛User-agent:Sosospider#搜搜蜘蛛User-agent:sogouspider#搜狗蜘蛛User-agent:YodaoBot#有道蜘蛛User-agent:Googlebot#谷歌蜘蛛User-agent:Bingbot#必应蜘蛛User-agent:Slurp#雅虎蜘蛛如上列举了常见的搜索引擎蜘蛛名字，国内的知道百度的就足够了，国外的知道谷歌、必应等搜索引擎蜘蛛名字。除了以上的还有很多，详细参考robots文件生成。Disallow该项的值是用于描述那条URL不被搜索引擎抓取，这里的url可以是完整的也可以是部分的。如：Disallow：/，这个值说明网站不让搜索引擎抓取，Disallow：/admin，这个值告诉搜索引擎不要抓网站admin文件夹里的所有文件，Disallow：/admin/demo，该值告诉搜索引擎可以抓取admin文件夹但是不能抓取admin文件下的demo文件夹。如果该项的值为空，证明网站对搜索引擎开放。AllowAllow与Disallow相反，是希望被搜索引擎抓取的一组url链接，而这url也可以是完整或者部分。如：Allow：/seojiaocheng，搜索引擎可以访问seojiaocheng.html或seojiaocheng/1html等。Allow通常和Disallow搭配使用的，同意访问部分网页并禁止访问其他网页URL链接。。

3、通配符User-agent、Disallow、Allow这三个的值可以使用通配符“*”和“$”来模糊匹配url地址“*”匹配0或者多个任意的字符“$”匹配行结束符robots.txt语法教程常见的有五种情况，以自己的实际需求设置，允许所有搜索引擎访问，robots为空，什么都不用写禁止所有搜索引擎访问某些目录User-agent:*Disallow:/admin/Disallow:/js/Disallow:/css/禁止百度访问User-agent:Baiduspider#百度蜘蛛Disallow:/禁止搜索搜索引擎访问User-agent:*#用通配符表示Disallow:/禁止所有搜索引擎访问图片User-agent:*#用通配符表示Disallow:.jpg$#或者png等图片格式robots文件在实际的运用是灵活，希望各站长可以举一反三，根据自己网站程序来设置。

1、你好亲，robots是网站和搜索引擎爬虫之间的协议，当搜索引擎爬虫爬取一个网站之前，第一先访问该网站有没有robots协议，如果有按照设置的robots协议进行对网站的抓取，如果没有默认网站所有页面都可以被抓取。

2、搜索引擎通过一个程序(搜索引擎蜘蛛)，自动获取互联网上数亿的网页，经过分析和对比，筛选出质量优质的网页，进行收录和索引，后得到网页的排名，用户查询关键词就可以访问到被收录的网页。

3、所以在网站的根目录创建一个robots协议用来告诉搜索引擎，网站这个页面可以被抓取，那个网页不让抓取。

4、可以说robots协议是对搜索引擎蜘蛛的行为设定了要求。

5、robots注意事项网站所有的内容都可以让搜索引擎抓取，我就不设置robots文件这是不对的，每次搜索引擎蜘蛛来到网站访问robots文件都会生成一个404页面，网页不存在，对网站有不好的影响。

6、这种的可以在网站根目录放一个空的robots文件，什么都不写就可以了。

7、设置所有网页都让搜索引擎抓取，可以增加收目率这个想法也是错误的，搜索引擎对html文件情有独钟，对JS、框架等文件很是排斥。

8、网站的脚本文件、样式表等可以选择屏蔽，浪费服务器资源还得不到好处。

9、蜘蛛抓取浪费服务器资源，在robots协议中屏蔽所有搜索引擎这样就把搜索引擎蜘蛛屏蔽了，搜索引擎蜘蛛不会抓取网站内的内容，也不会有收录robots文件需要放置到网站的根目录，url格式域名+robots.txtrobots文件可以放置网站地图的链接，搜索引擎蜘蛛每次到网站首先访问的就是robots文件，所以放上网站的网站地图，有利于搜索引擎蜘蛛发现更多的链接。

10、robots文件必须是小写命名robots协议的设置robots文件的设置有两种参数，一个允许，一个拒绝。

11、robots文件中有一条或多条声明，robots文件中可以用“#”进行注释。

12、通常robots文件以一条或多条User-agent开始，之后有多行Disallow和多行Allow。

1、可以删掉，这是规定搜索引擎的网页机器人的动作的文件。

2、删除后就不限制机器人抓取你的网页，也就是说任何网页都能抓。

1、这里可以一个网站为例。。

2、打开我们常用的浏览器。。

3、输入网站，进入百度，接着就是重点步骤了。。

4、然后我们在网站后面加“/robots.txt”,按下enter后你就会发现，这个txt的内容就出来了。

5、，一般为了符合互联网爬虫约定，这个文件都是放在网站根目录的，所以直接加这个就行了。。

6、点赞投票帮助更多人。。

1、　搜索引擎蜘蛛访问网站时，会先查看网站根目录下有没有一个命名为robots.txt的纯文本文件，robots.txt用于指令搜索引擎禁止抓取网站某些内容或指定允许抓取某些内容。

2、例如本网站的robots文件位于、http、//www.5dseo.com/robots.txt　　只有在需要禁止抓取某些内容时，写robots.txt才有意义。

3、robots文件不存在或者是空文件都意味着允许搜索引擎抓取所有内容。

4、有的服务器设置有问题，robots文件不存在时会返回200状态码及一些错误信息，而不是404状态码，这有可能使搜索引擎错误解读robots文件信息，所以建议就算允许抓取所有内容，也要建一个空的robots.txt文件，放在根目录下。

5、robots文件由记录组成，记录之间以空行分开。

6、记录格式为、、简单的robots文件、User-agent、*　　Disallow、/　　上面这个robots文件禁止所有搜索引擎抓取任何内容。

7、User-agent、指定下面的规则适用于哪个蜘蛛。

8、通配符*代表所有搜索引擎。

9、只适用于百度蜘蛛则用、User-agent、Baiduspider　　只适用于Google蜘蛛则用、User-agent、Googlelebot　　Disallow、告诉蜘蛛不要抓取某些文件或目录。

10、例如下面的代码将阻止所有蜘蛛抓取/cgi-bin/和/tmp/两个目录下的内容及文件/aa/index.html、User-agent、*　　Disallow、/cgi-bin/　　Disallow、/tmp/　　Disallow、/aa/index.html　　Disallow、禁止的目录或文件必须分开写，每个一行，不能写成、Disallow、/cgi-bin//tmp//aa/index.html　　下面的指令相当于允许所有搜索引擎抓取任何内容、User-agent、*　　Disallow、下面的代码禁止除百度外的所有搜索引擎抓取任何内容、User-agent、baiduspider　　Disallow、User-agent、*　　Disallow、/　　allow、告诉蜘蛛应该抓取某些文件。

11、由于不指定就是允许抓取，Allow、单独写没有意义，Allow和Disallow配合使用，可以告诉蜘蛛某个目录下大部分不允许抓取，只允许抓取一部分。

12、例如，下面的代码将使蜘蛛不抓去/ab/目录下其他目录和文件，但允许抓取其中/cd/目录下的内容、User-agent、*　　Disallow、/ab/　　Allow、/ab/cd/　　$通配符、匹配URL结尾的字符。

13、例如，下面的代码将允许蜘蛛抓取以.htm为后缀的URL、User-agent、*　　allow、.htm$　　下面的代码将禁止百度抓取所有.jpg文件、User-agent、baiduspider　　Disallow、.jpg$　　*通配符、告诉蜘蛛匹配任意一段字符。

14、例如，下面一段代码将禁止蜘蛛抓取所有htm文件、User-agent、*　　Disallow、/*.htm。

1、有什么作用Robots协议是网站国际互联网界通行的道德规范，其目的是保护网站数据和敏感信息、用户个人信息和隐私不被侵犯。

2、因其不是命令，故需要搜索引擎自觉遵守。

1、robots.txt文件应该放在网站根目录下，用好robots是很容易为你网站提权的。

2、robots.txt其实就是个记事本文件，这个文件应该放到网站的根目录如想让蜘蛛抓取你的所有页面，可以上传一个空的记事本文件命名为“robots.txt”上传到根目录即可robots.txt主要的代码是Disallow格式、User-agent、*Disallow、/adminDisallow、/pro.asp?Disallow、/abc.html。