zoukankan      html  css  js  c++  java
  • 站点下的robots

        面试某软,被面试官问道:你做爬虫。知不知道非常多站点下都有个robots文件?

        答曰:不知。

        于是面试官给我演示了一遍~

        遂卒。首战慘败。

        下来查了维基百科。基本了解robots。https://zh.wikipedia.org/wiki/Robots.txt

        比方必应搜索www.bing.com的根文件夹下有这么一个文件:http://www.bing.com/robots.txt,其内容例如以下:

    User-agent: msnbot-media 
    Disallow: /
    Allow: /shopping/$
    Allow: /shopping$
    Allow: /th?
     
    User-agent: Twitterbot
    Disallow: 
     
    User-agent: *
    Disallow: /account/
    Disallow: /bfp/search
    Disallow: /bing-site-safety
    Disallow: /blogs/search/
    Disallow: /entities/search
    Disallow: /fd/
    Disallow: /history
    Disallow: /hotels/search
    ...

        这个文件的作用是。告诉搜索引擎该域名下那些文件可以爬取,哪些不行。


        以下摘自维基百科:

        

    robots.txt(统一小写)是一种存放于站点根文件夹下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此站点中的哪些内容是不应被搜索引擎的漫游器获取的,哪些是能够被漫游器获取的。由于一些系统中的URL是大写和小写敏感的,所以robots.txt的文件名称应统一为小写。

    robots.txt应放置于站点的根文件夹下。假设想单独定义搜索引擎的漫游器訪问子文件夹时的行为。那么能够将自定的设置合并到根文件夹下的robots.txt,或者使用robots元数据(Metadata,又称元数据)。

    robots.txt协议并非一个规范。而仅仅是约定俗成的,所以并不能保证站点的隐私。注意robots.txt是用字符串比較来确定是否获取URL。所以文件夹末尾有与没有斜杠“/”表示的是不同的URL。robots.txt同意使用类似"Disallow: *.gif"这种通配符

    转载请注明:康瑞部落 » 站点下的robots
  • 相关阅读:
    1048 石子归并
    高精度算法小结
    3117 高精度练习之乘法
    UVa 11809
    3115 高精度练习之减法
    3116 高精度练习之加法
    “da shen” in my heart
    爱是怀疑!
    普通disco
    崇拜
  • 原文地址:https://www.cnblogs.com/claireyuancy/p/7276843.html
Copyright © 2011-2022 走看看