Java开源爬虫框架WebCollector设置代理

WebCollector自带一个Proxys类，通过Proxys.nextRandom()方法可以随机获取加入的代理。

通过Proxys.add(“ip”,”端口号”);添加代理。

如果本机也参与http请求，可用Proxys.addEmpty()方法将本机加入。

覆盖Crawler的getResponse()方法，即可自定义使用随机代理的http请求：

 

代码中的proxies并不是一个自带的对象，用户需要在继承Crawler时，定义一个成员变量：

比如：private Proxys proxies = new Proxys();

并且需要在构造函数或其他地方，向Proxys中添加代理服务器地址。

当然你可以在构造方法里设置多个ip,就可以实现动态代理ip：

比如：

这时候getResponse也要判断ip是否链接上：

 

WebCollector框架的jar包pom文件：

<dependency>

    <groupId>cn.edu.hfut.dmic.webcollector</groupId>

      <artifactId>WebCollector</artifactId>

      <version>2.71</version>

</dependency>