爬虫的具备条件
jdbc：操作数据库。
ehcache(redis)：重复url判断。
log4j：日志记录。
httpclient：发送http请求。
jsoup：解析返回的网页内容。
Maven的使用：
（1）log4j 的使用；
1. 使用 Maven 下载 log4j 的 Jar 包
2. 在 src 目录下创建 log4j.properties 文本文件，并做相关配置（关于每个配置的具体含义，读者可参考博文 《详细的 Log4j 使用教程》）:
（2）对象的创建；
创建需要的对象
（3）集合的使用；
封装所得的数据
（4）正则表达式的使用；
解析数据
（5）HTTP 状态码；
当浏览者访问一个网页时，浏览者的浏览器会向网页所在服务器发出请求