robots.txt一分钟教程

首先要说：
 

robots.txt很简单

学习robots主要搞明白下面3个问题：
1. robots是什么？
2. robots有什么作用？
3. 如何写robots.txt？

 

robots是什么？

回答： robots就是一个必须放在网站根目录、让搜索蜘蛛读取的txt文件，文件名必须是小写的"robots.txt"。

 

robots有什么作用？

回答：通过robots.txt可以控制SE收录内容，告诉蜘蛛哪些文件和目录可以收录，哪些不可以收录。

 

如何写robots.txt

用几个最常见的情况，直接举例说明：
1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。

2. 禁止所有SE收录网站的某些目录：
 

User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
 

3. 禁止某个SE收录本站，例如禁止百度：
 

User-agent: Baiduspider
Disallow: /
 

4. 禁止所有SE收录本站：
 

User-agent: *
Disallow: /
 

5. 加入sitemap.xml路径,例如：
 

Sitemap: http://www.seotest.cn/sitemap.xml
 

参考资料：常见搜索引擎机器人Robots名字
名称 搜索引擎
Baiduspider http://www.baidu.com
Googlebot http://www.google.com
MSNBOT http://search.msn.com
ia_archiver http://www.alexa.com


一个在线写robots.txt的工具。
http://www.clickability.co.uk/robotstxt.html


推荐2篇robots教程，我也是看了这些学会的：
如何写robots.txt？
ROBOTS.TXT语法和作用