什么是robots？
robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。
怎么判断一个网站是否有robots.txt文件？
判断方法很简单，你的域名后面+robots.txt就ok了，因为一般的robots.txt都放在网站的根目录下面。例如，产看百度的robots.txt：http://www.baidu.com/robots.txt，其结果如下：
上面的办法可以帮我们很快的检查自己的网站是否有robots文件，如果没有怎么办呢？
没有的话肯定要添加一个了，有些人可能说我的网站内容都可以用来访问，那是不是就不用添加了呢？当然不是，每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该在网站中添加一个robots.txt。而且如果你的robots文件里面有网站地图就会很好的指引搜索蜘蛛对网站进行收录。总之一句话，有robots文件就可以增加搜索引擎的友好性，没有就不友好。你说你建不建立呢？
那如何建立robots文件呢？
robots文件的书写是有语法：最简单的 robots.txt 文件使用两条规则：
? User-Agent: 适用下列规则的漫游器
? Disallow: 要拦截的网页
更多详细的robots书写语法参考
百度百科介绍。
下面给大家一个实例：
User-agent
Disallow admin
Allow wp-contentuploads
Sitemap: http://vsdot.net/sitemap_baidu.xml
最后把你建立的robots.txt文件上传到你的根目录下面就ok了。