zoukankan      html  css  js  c++  java
  • 淘宝是如何利用robots.txt:百度蜘蛛被淘宝禁了?

    前两天在网上看到个新闻说淘宝泄露了个人信息,在google中用site指令可以查看其他人的信息泄露,我觉得这可能是真的。现在肯定是看不到了,淘宝进行了处理,处理的方法我觉得挺暴力,直接用robots文件让搜索引擎禁止访问了。今天我才发现这个现象,而且是有图有真相,目前在百度中搜索淘宝,如下结果: 百度搜淘宝结果   从理论上推测,这是使用robots文件把百度的蜘蛛给禁止了,所以爬行不到其他信息,如何使用robot请参考:网站下面没有robots.txt怎么办? 好了,我再确认一下,淘宝是把所以的搜索引擎蜘蛛都禁止了还是仅仅禁止了百度的蜘蛛? 我用google搜索淘宝,结果如下: google搜索淘宝的结果   360综合搜索淘宝的结果: 360搜索淘宝的结果   根据以上的搜索结果显示我们淘宝对百度是区别对待的,仅仅禁止了百度的搜索引擎蜘蛛,其他的搜索引擎结果都显示正常。难道淘宝和百度又开始新的“战争”了? 总结:robots是很有用的,可以用在各种情况。淘宝就是利用robots文件把百度的蜘蛛给禁用了。我们一定要用好robots文件。
  • 相关阅读:
    虚拟机Linux5下安装MyEclipse2014的步骤
    鉴赏
    Linux环境下安装WebStorm
    Bootstrap模态框
    AngularJs
    按钮颜色
    虚拟机里的weblogic之后怎样进入
    搭建GlusterFS文件系统
    邮件服务器fixpost服务(1)
    unbound域名解析
  • 原文地址:https://www.cnblogs.com/vsdot/p/3263344.html
Copyright © 2011-2022 走看看