zoukankan      html  css  js  c++  java
  • robots.txt文件里面怎样屏蔽蜘蛛

     

    robots.txt文件,是每个网站都可以用来跟,遵循robots协议的搜索引擎蜘蛛,进行对话的一段代码。

    我们先来看一个列子,让搜索引擎抓取所有的内容,代码如下:

    User-agent: *
    Allow: /
    其中User-agent后面跟的是蜘蛛的名字,如果是所有的蜘蛛都遵守的话,那么就可以用*来代替所有的蜘蛛,如果只是针对某一蜘蛛的话,
    那么只需要列出来这个蜘蛛的名字即可。如果不想让蜘蛛来爬取,那么只需要将Allow修改为Disallow,禁止爬取即可,/后面跟的内容就是
    禁止或允许爬取的内容。

    而有时候蜘蛛爬取过于频繁,那么我们需要添加Crawl-delay这个代码,他的意思是告诉蜘蛛延时多少秒以后再来爬取,我们可以看下实例:

    User-agent: *
    Crawl-delay: 500

    前面的内容都一样,不同的是Crawl-delay后面只能跟数字,而且只能是正整数。

    我们常用的代码还包括:User-agent、Disallow、Allow以及Crawl-delay等。

    其实最好的办法你还是尝试下robots.txt文件的设置,在网站的robots.txt文件中加上如下内容:
    以百度蜘蛛为例

    User-agent: Baiduspider
    Disallow: /

      这种方法如果不能完全屏蔽百度的爬虫,也就是蜘蛛要是不遵守robots协议,我们才要想完全屏蔽百度的爬虫,需要在.htaccess中加入一些语句才可以,下面介绍两种方法。

      方法1:

    RewriteEngine on
    RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC]
    RewriteRule .* - [F]

      方法2:

    SetEnvIfNoCase User-Agent "^Baiduspider" bad_bot


    Order Allow,Deny
    Allow from all
     


    安徽育儿网 http://www.ahyuer.com

  • 相关阅读:
    http
    python的列表生成式
    flask的登陆验证
    脚本更新流程
    k8s中job和pod的区别
    k8s中一些常见概念
    supervisord部署和使用
    flask中config
    python类的继承super()的使用
    python中类的继承
  • 原文地址:https://www.cnblogs.com/jincon/p/1941982.html
Copyright © 2011-2022 走看看