配置sharepoint 爬网内容源,如我们有4台前端服务器,集群域名为eds.jd.com,2台用于爬网前端服务器,集群域名为crawl.eds.jd.com
配置内容源的时候,将地址配为:
结果一直搜索不出任何数据,将地址改为crawl.eds.jd.com也不行。
最后没办法,将地址改为机器名,竟然能搜索出来数据,这是什么原因还不得知,但这样的架构不太适合大数据爬网。
继续深入研究,找找原因。