近来在site自己的站,
发现有些索引条数不一致的情况,有的地方显示的多,有的地方显示的小
主要分析是由于分布式的索引,根据你用的dns,google寻找附近的索引源,给你反馈结果,而全球索引同步,和要域名服务器一样有一个延迟。
其实发现爬虫每天爬的数据并不多,10多M,但是对google是一个挑战,
现在想想考虑网站的流量是多余的了,高可靠到是要的,稳定性也是要的,高并发远没那么迫切,搞电子商务,遇到高并发,你就发达了