zoukankan      html  css  js  c++  java
  • 如何禁止同IP站点查询和同IP站点查询的原理分析 Robots.txt屏蔽BINGBOT

    很多站长工具中都有“同IP站点查询”、“IP反查域名”这种服务不少人都不知道是什么原理,其实这些服务几乎都是用BING(以前的LIVE)来实现 的,BING有个特别功能 BING抓取页面时会把站点的IP也记录下来,用户可以搜索指定IP下的结果 同IP站点查询就是利用这个实现的,如http://cn.bing.com/search?q=ip:220.181.29.42,这个功能很有用 但很多站长工具都会把结果提交到搜索引擎比较讨厌,如果不希望自己的网站出现在结果中 可以用ROBOTS.TXT拒绝BINGBOT抓取,但已抓取的结果仍然会显示出来,只能等半年后抓取结果过期删除,才能从BING的搜索结果中消失。

    ========================================

    Robots.txt生成器

    http://tool.chinaz.com/robots/

    ========================================

    User-agent: MSNBot
    Disallow: /


    User-agent: *
    Disallow:


    Disallow: /bin/
    Sitemap: http://domain.com/sitemap.xml

  • 相关阅读:
    软件需求分析
    行高line-height 和vertical-align
    python中的集合基础知识
    python中字典常用的函数和用法
    python中字符串常用的函数
    day-75CRM
    day-74CRM
    day73CRM
    day-72Django源码解析
    day-71Django补充
  • 原文地址:https://www.cnblogs.com/doseoer/p/4363930.html
Copyright © 2011-2022 走看看