zoukankan      html  css  js  c++  java
  • 淘宝是如何利用robots.txt:百度蜘蛛被淘宝禁了?

    前两天在网上看到个新闻说淘宝泄露了个人信息,在google中用site指令可以查看其他人的信息泄露,我觉得这可能是真的。现在肯定是看不到了,淘宝进行了处理,处理的方法我觉得挺暴力,直接用robots文件让搜索引擎禁止访问了。今天我才发现这个现象,而且是有图有真相,目前在百度中搜索淘宝,如下结果: 百度搜淘宝结果   从理论上推测,这是使用robots文件把百度的蜘蛛给禁止了,所以爬行不到其他信息,如何使用robot请参考:网站下面没有robots.txt怎么办? 好了,我再确认一下,淘宝是把所以的搜索引擎蜘蛛都禁止了还是仅仅禁止了百度的蜘蛛? 我用google搜索淘宝,结果如下: google搜索淘宝的结果   360综合搜索淘宝的结果: 360搜索淘宝的结果   根据以上的搜索结果显示我们淘宝对百度是区别对待的,仅仅禁止了百度的搜索引擎蜘蛛,其他的搜索引擎结果都显示正常。难道淘宝和百度又开始新的“战争”了? 总结:robots是很有用的,可以用在各种情况。淘宝就是利用robots文件把百度的蜘蛛给禁用了。我们一定要用好robots文件。
  • 相关阅读:
    三 zookeeper集群搭建
    一 linux 基本操作
    linux x64 安装 node
    docker nginx/1.7.4
    搭建Portainer可视化界面
    Swarm搭建 Docker集群
    在 Centos7.4上安装docker
    js 处理json对象数据
    生产者消费者模式及其存在的问题
    多线程
  • 原文地址:https://www.cnblogs.com/vsdot/p/3263344.html
Copyright © 2011-2022 走看看