Robots文件：
限制搜索引擎：
User-agent : *
User-agent : baiduspider
User-agent : googlebot
禁止百度抓取：
Disallow : /admin/admin.php
Disallow : /a/
允许抓取：
Allow : /a/e/
Allow要跟disallow配合使用；
常见写法：
User-agent : *
Disallow : /admin/admin.php
Disallow : /a/
其它写法：
User-agent : *
Disallow : /admin/admin.php
Disallow : /a/
Allow : /a/e/
---------
User-agent : baiduspider
Disallow :
只允许baidu抓取；
---------
User-agent : *
Disallow : /
所有搜索引擎都不能抓取；