robots.txt和Robot.txt准确代码的写法说明

国内很多网民都不知道 robots.txt 是干什么的，没有大重视、

今天希望看到本文章学习到 robots.txt 的准确解释和使用方法！

robots.txt基本介绍

robots.txt 是一个纯文本的txt文本文档文件，这种重命名的文本文档是用在网站目录下存储！

只有 百度，搜搜，搜狗搜索，360搜索等 搜索引擎网站上调用的声明！

搜索引擎也可以叫 《蜘蛛》

（例如：站长只想让百度里能搜到本站，就可以用robots.txt上写段代码就能实现！）

robots.txt 使用方法：

robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。

robots.txt写作语法

首先，我们来看一个 robots.txt 的写法案例：http://www.red326.com/robots.txt

访问以上具体地址，我们可以看到robots.txt的具体内容如下：

# Robots.txt file fromhttp://www.red326.com

# All robots will spider the domain

User-agent: *

Disallow:

以上文本表达的意思是允许所有的搜索机器人访问www.red326.com站点下的所有文件。

代码第一行：#

解释：只要有“#”开头的一行全被隐藏的！（一般不需要写）

写法：“#”后面不管填写任何文字都不会有影响！（只是起到隐藏作用）

我们一般 填写声明就可以了！

代码第二行：User-agent:

解释：这是控制蜘蛛访问的代码（用来设置蜘蛛的白黑名单）

写法：“User-agent:”后面就可以填写百度蜘蛛名称或者 搜狗蜘蛛名称！

例如：只允许百度蜘蛛：User-agent: BadBot

所有蜘蛛可访问：User-agent: *

代码第三行：Disallow:

解释：这是控制蜘蛛动态的黑名单

写法：“Disallow:” 后面可填写以下

禁止访问本站所有内容：/

禁止访问本站指定目录：/01/

允许访问本站指定目录：/01

禁止访问目录下的格式：/01*.html

允许访问目录下的格式：/01/index.html

代码第四行：Allow:

解释：访问一组URL或者关键字母的文件名和目录名

写法：“Allow:” 后面可以填写关键字母

例如：Allow:/index

演示：即可访问：/index.html

/index.asp

/index/index.html

/index/indextop.html

/indexlogo/indexnamo.html

=======================================

模拟蜘蛛写法案例说明

1. 允许所有的robot访问

User-agent: *

Allow:

或者

User-agent: *

Disallow:

2. 禁止所有搜索引擎访问网站的任何部分

User-agent: *

Disallow: /

3. 仅禁止Baiduspider访问您的网站

User-agent: Baiduspider

Disallow: /

4. 仅允许Baiduspider访问您的网站

User-agent: Baiduspider

Disallow:

5. 禁止spider访问特定目录

User-agent: *

Disallow: /cofig/

Disallow: /totm/

Disallow: /~jot/

6. 允许访问特定目录中的部分url

User-agent: *

Allow: /acgi-lbin/ssee

Allow: /tml/itm

Allow: /~jotw/book

Disallow: /cdgi-bins/

Disallow: /ddw/

Disallow: /~jseoe/

7. 使用”*”限制访问url

禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。

User-agent: *

Disallow: /csgi-bisn/*.htm

8. 使用”$”限制访问url

仅允许访问以”.htm”为后缀的URL。

User-agent: *

Allow: .htm$

Disallow: /

9. 禁止访问网站中所有的动态页面

User-agent: *

Disallow: /*?*

10. 禁止Baiduspider抓取网站上所有图片

仅允许抓取网页，禁止抓取任何图片。

User-agent: Baiduspider

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .gif$

Disallow: .png$

Disallow: .bmp$

11. 仅允许Baiduspider抓取网页和.gif格式图片

允许抓取网页和gif格式图片，不允许抓取其他格式图片

User-agent: Baiduspider

Allow: .gif$

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .png$

Disallow: .bmp$

12. 仅禁止Baiduspider抓取.jpg格式图片

User-agent: Baiduspider

Disallow: .jpg$

注意：robots.txt是有分大小写的，默认文件名全小写，

规则里面要注意区分大小写，比如禁止

版权声明：本章内容是，我本人学到的知识来亲手写出来的。

各位网民朋友们，如果发现内容中有错误解释，

请在我的网站上留言！

谢谢！