从理论上推测,这是使用robots文件把百度的蜘蛛给禁止了,所以爬行不到其他信息,如何使用robot请参考:网站下面没有robots.txt怎么办?
好了,我再确认一下,淘宝是把所以的搜索引擎蜘蛛都禁止了还是仅仅禁止了百度的蜘蛛?
我用google搜索淘宝,结果如下:
360综合搜索淘宝的结果:
根据以上的搜索结果显示我们淘宝对百度是区别对待的,仅仅禁止了百度的搜索引擎蜘蛛,其他的搜索引擎结果都显示正常。难道淘宝和百度又开始新的“战争”了?
总结:robots是很有用的,可以用在各种情况。淘宝就是利用robots文件把百度的蜘蛛给禁用了。我们一定要用好robots文件。