什么情况下要设置禁止搜索引擎抓取自己的网站呢？
公司内部测试的网站，或者内部网，或者后台登录的页面，肯定不希望被外面的人搜索到，所以要禁止搜索引擎抓取。还有在我们的网站还未正式上线之前，我们需要做大量的修改工作，如果还未修改完成又没有设置禁止抓取，那么网站就有可能会被收录了，后期我们对网站再进行修改操作，就会对网站造成影响。
搜索引擎第一个访问的文件就是robots.txt，禁止所有搜索引擎访问网站的所有部分 robots.txt写法如下：
User-agent: *
Disallow: /
网站有内容不想让搜索引擎收录，就可以在robots.txt里声明。