解决方案:
1. 可直接删除(可参考:http://zh.wikipedia.org/wiki/Robots.txt) ,但不利于SEO等
2. 修改Web服务器配置
可以通过Web服务器(如Apache,Nginx)进行配置,禁止对.txt后缀文件的访问,此时会产生403错误,需要配置一下。
2.1 Apache配置:
<FilesMatch ".(txt|xml|)">
Order deny,allow
Deny from all
</FilesMatch>
指定403.html文件的配置信息
ErrorDocument 403 /403.html
2.2 Nginx配置:
修改nginx.conf文件,
# vim /usr/local/nginx/conf/nginx.conf
location ~* .(txt|doc)$ {
root /usr/local/nginx/html;
deny all;
}
指定403.html文件的配置信息
error_page 403 /403.html;
location = /403.html {
root html;
}
配置后均需要重载,或重启服务。