zoukankan      html  css  js  c++  java
  • 如何使用robots.txt[摘自网络]

    robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不能被搜索引擎的漫游器获取的,哪些是可以被(漫游器)获取的。 因为一些系统中的URL是大小写敏感的,所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为,那么可以将自定的设置合并到根目录下的robots.txt,或者使用robots元数据。

    Robots.txt协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私。注意Robots.txt是用字符串比较来确定是否获取URL,所以目录末尾有和没有斜杠“/”这两种表示是不同的URL,也不能用"Disallow: *.gif"这样的通配符。

    在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow行,详细情况如下:

    User-agent:
      该项的值用于描述搜索引擎robot的名字,在"robots.txt"文件中,如果有多条User-agent记录说明有多个robot会受到该协议的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则该协议对任何机器人均有效,在"robots.txt"文件中,"User-agent:*"这样的记录只能有一条。

    Disallow:
      该项的值用于描述不希望被访问到的一个URL,这个URL可以是一条完整的路径,也可以是部分的,任何以Disallow开头的URL均不会被robot访问到。例如"Disallow:/help"对/help.html 和/help/index.html都不允许搜索引擎访问,而"Disallow:/help/"则允许robot访问/help.html,而不能访问/help/index.html。任何一条Disallow记录为空,说明该网站的所有部分都允许被访问,在"/robots.txt"文件中,至少要有一条Disallow记录。如果"/robots.txt"是一个空文件,则对于所有的搜索引擎robot,该网站都是开放的。

    robots.txt写作语法

    # Robots.txt file from http://www.seovip.cn
    # All robots will spider the domain

    User-agent: *
    Disallow:

    允许所有的robot访问

    User-agent: *
    Disallow:

    或者也可以建一个空文件 "/robots.txt" file

    禁止所有搜索引擎访问网站的任何部分

    User-agent: *
    Disallow: /

    禁止所有搜索引擎访问网站的几个部分(下例中的01、02、03目录)

    User-agent: *
    Disallow: /01/
    Disallow: /02/
    Disallow: /03/

    禁止某个搜索引擎的访问(下例中的BadBot)

    User-agent: BadBot
    Disallow: /

    只允许某个搜索引擎的访问(下例中的Crawler)

    User-agent: Crawler
    Disallow:

    User-agent: *
    Disallow: /
     

    对robots meta进行一些介绍:

    Robots META标签则主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)一样,Robots META标签也是放在页面的<head></head>中,专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。

    Robots META标签的写法:

    Robots META标签中没有大小写之分,name=”Robots”表示所有的搜索引擎,可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项:index、noindex、follow、nofollow,指令间以“,”分隔。

    INDEX 指令告诉搜索机器人抓取该页面;

    FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;

    Robots Meta标签的缺省值是INDEX和FOLLOW,只有inktomi除外,对于它,缺省值是INDEX,NOFOLLOW。

    这样,一共有四种组合:

    <META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">
    <META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
    <META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">
    <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

    其中

    <META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">可以写成<META NAME="ROBOTS" CONTENT="ALL">;

    <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">可以写成<META NAME="ROBOTS" CONTENT="NONE">

    目前看来,绝大多数的搜索引擎机器人都遵守robots.txt的规则,而对于Robots META标签,目前支持的并不多,但是正在逐渐增加,如著名搜索引擎GOOGLE就完全支持,而且GOOGLE还增加了一个指令“archive”,可以限制GOOGLE是否保留网页快照。例如:

    <META NAME="googlebot" CONTENT="index,follow,noarchive">

  • 相关阅读:
    HBase with MapReduce (MultiTable Read)
    HBase with MapReduce (SummaryToFile)
    HBase with MapReduce (Summary)
    HBase with MapReduce (Read and Write)
    HBase with MapReduce (Only Read)
    Hbase中的BloomFilter(布隆过滤器)
    HBase的快照技术
    How To Use Hbase Bulk Loading
    Cloudera-Manager修改集群的IP
    Java中的HashSet和TreeSet
  • 原文地址:https://www.cnblogs.com/hejunrex/p/1638443.html
Copyright © 2011-2022 走看看