zoukankan      html  css  js  c++  java
  • 如何拒绝搜索引擎对站点内文件的访问

    [转载]
    下面是Robot.txt的一些例子,只要把下列的任何一个代码保存为robots.txt,然后传到指定位置,就可以实现逃避搜索引擎的法眼:

      例1. 禁止所有搜索引擎访问网站的任何部分:

      User-agent: *
      Disallow: /

      例2. 允许所有的robot访问:

      User-agent: *
      Disallow:

      例3. 禁止某个搜索引擎的访问:

      User-agent: BadBot
      Disallow: /

      例4. 允许某个搜索引擎的访问:

      User-agent: baiduspider
      Disallow:
      User-agent: *
      Disallow: /

      例5. 一个简单例子:

      在这个例子中,(引导广告:好易广告联盟 http://www.okeaa.com)该网站有三个目录对搜索引擎的访问做了限制,即搜索引擎不会访问这三个目录。需要注意的是对每一个目录必须分开声明,而不要写成 "Disallow: /cgi-bin/ /bbs/"。User-agent:后的* 具有特殊的含义,代

    表"any robot",所以在该文件中不能有"Disallow: /bbs/*" or "Disallow: *.gif"这样的记录出现.

      User-agent: *
      Disallow: /cgi-bin/
      Disallow: /bbs/
      Disallow: /~private/

  • 相关阅读:
    BZOJ5368:[PKUSC2018]真实排名(组合数学)
    【HDU2222】Keywords Search
    KMP算法
    【BZOJ3262】 陌上花开
    【POJ2104】kth num
    【BZOJ1251】序列终结者
    【BZOJ3524】 [Poi2014]Couriers
    【BZOJ2049】 [Sdoi2008]Cave 洞穴勘测
    【BZOJ1468】Tree
    【BZOJ2152】聪聪可可
  • 原文地址:https://www.cnblogs.com/always/p/569637.html
Copyright © 2011-2022 走看看