现代社会，有效的信息对于人们来说，就像氧气一样，不可或缺，互联网时代的到来，大数据时代的风口，让数据的收集与整理工作变得更加的容易。当你在网络之间冲浪时，网络爬虫技术也在网络中，穿梭，自动收集互联网上有用的信息。
很多编程语言都可以用来开发爬虫工具，相对于Python，Java由于严谨的语法结构和体系结构，相对于其他语言在爬虫技术上有一定的优势。
很多的爬虫技术都是用Java或者C#开发的，如果，运行在服务端的爬虫，也可以使用Java开发。
爬虫技术需要的一些基本技术基础。
在以后的叙述中，我们所有的技术基础以Java的基本开发作为爬虫。
技术基础：
1：熟悉JDK 和 会使用 Eclipse 或者IDEA 开发工具
2：熟悉类和对象
3：了解常量
4：掌握基本的命名规范
5：熟悉基础语法
6：熟悉条件判断（判断一个网址是否是详细页，如果是详细页，就从这个网址提取正文）
7：了解循环，数组，位运算
8：理解枚举类型
9：熟悉比较器，集合类，散列表
10：熟悉文本文件读取，写入，二进制文件操作
11：了解基本的多线程，线程池
12：熟悉折半查找（在文本排重中需要用到折半查找，需要查找一个数组中是否存在某个数）
13：javax.imageio.ImageIO执行简单的读写图片文件
上述简单的介绍了网络爬虫所需要的Java技术基础，对于之前有Java功底的，可节省些许时间。
