zoukankan      html  css  js  c++  java
  • 如何拒绝搜索引擎对站点内文件的访问

    [转载]
    下面是Robot.txt的一些例子,只要把下列的任何一个代码保存为robots.txt,然后传到指定位置,就可以实现逃避搜索引擎的法眼:

      例1. 禁止所有搜索引擎访问网站的任何部分:

      User-agent: *
      Disallow: /

      例2. 允许所有的robot访问:

      User-agent: *
      Disallow:

      例3. 禁止某个搜索引擎的访问:

      User-agent: BadBot
      Disallow: /

      例4. 允许某个搜索引擎的访问:

      User-agent: baiduspider
      Disallow:
      User-agent: *
      Disallow: /

      例5. 一个简单例子:

      在这个例子中,(引导广告:好易广告联盟 http://www.okeaa.com)该网站有三个目录对搜索引擎的访问做了限制,即搜索引擎不会访问这三个目录。需要注意的是对每一个目录必须分开声明,而不要写成 "Disallow: /cgi-bin/ /bbs/"。User-agent:后的* 具有特殊的含义,代

    表"any robot",所以在该文件中不能有"Disallow: /bbs/*" or "Disallow: *.gif"这样的记录出现.

      User-agent: *
      Disallow: /cgi-bin/
      Disallow: /bbs/
      Disallow: /~private/

  • 相关阅读:
    Eclipse 如何安装反编译插件
    java下执行mongodb
    如何利用Xshell在Linux下安装jdk
    asp.net signalR
    手机抓包 fiddler magicwifi
    NServiceBus 消息
    .net 异步函数 Async await
    .net 任务(Task)
    .net 线程基础 ThreadPool 线程池
    .net 序列化反序列化
  • 原文地址:https://www.cnblogs.com/always/p/569637.html
Copyright © 2011-2022 走看看