网络爬虫是一种自动获取网页内容的程序，是搜索引擎的重要组成部分。
用java打造属于自己的爬虫
网络上的图片太多 一个一个的保存实在太浪费时间
基于此 就使用了java做了一个小工具
功能是文件的复制 以及 网络上图片的下载
首先是封装一个IOUtlis类方法，用于实现文件的复制和文件传输流的关闭
package hh;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.io.Reader;
import java.io.Writer;
import java.net.*;
public class IOUtils
{
// buff缓冲区
public static void closeQuietly(FileOutputStream outpustream)
{
if(outpustream!=null)
{
try
{
outpustream.close();
}
catch (IOException e)
{
// TODO 自动生成的 catch 块
//e.printStackTrace();
}
}
}
public static void closeQuietly(FileInputStream inStream)
{
if(inStream!=null)
{
try
{
inStream.close();
}
catch (IOException e)
{
// TODO 自动生成的 catch 块
//e.printStackTrace();
}
}
}
public static void closeQuietly(Reader reader)
{
if(reader!=null)
{
try
{
reader.close();
}
catch(IOException e )
{
//
}
}
}
public static void copy(InputStream instream,OutputStream outputstream,int buff) throws IOException
{
byte[] buffer=new byte[buff];
int len;//计算读入的数据
if(instream==null)
{
throw new IllegalArgumentException("INPUTSTREAM不能为空");
}
if(outputstream==null)
{
throw new IllegalArgumentException("outputstream不能为空");
}
if(buff<=0)
{
throw new IllegalArgumentException("outputstream不能为空");
}
while((len=instream.read(buffer))>0)
{
//不知道怎么处理异常就让调用者处理
outputstream.write(buffer,0,len);
}
}
public static void copy(InputStream instream,OutputStream outputstream) throws IOException
{
copy(instream,outputstream,1024);
}
copy这个方法实现了文件的复制功能，closequietly将文件流安静的关闭
方案一
文件的复制，目的是将E盘的1.txt文件复制到W盘的2.txt文件里 最后不要忘了关闭文件的输入输出流
不然可能导致复制失败
package hh;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
public class test {
public static void main(String[] args)
{
long startMS=System.currentTimeMillis();
FileInputStream fis=null;
FileOutputStream fos=null;
try
{
fis=new FileInputStream("E:\1.txt");
fos=new FileOutputStream("W:\2.txt");
IOUtils.copy(fis,fos,1024);
long endMS=System.currentTimeMillis();
System.out.println("拷贝完成 耗时"+(endMS-startMS));
} catch (FileNotFoundException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
finally
{
try {
fos.close();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
try {
fis.close();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
方案二
调用了java.net.*;这个包 使用url类将图片地址比如下图画圈部分当做一个文件的输入流来使用，再使用copy方法将图片复制到本地。最后我发现该网站所有的图片都有一个特定的图片递增规则(可以考虑使用正则表达式)这样就可以通过变量来完成网站里所有的图片的下载
package hh;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.*;
public class abc {
public static void main(String []args)
{
InputStream inpustream=null;
FileOutputStream outputstream=null;
try {
long start=System.currentTimeMillis();
int i=0;
for(i=1;i<550;i++)
{
URL url=new URL("http://www.bokee.com//topic/images/%E6%9C%AA%E6%A0%87%E9%A2%98-2("+i+").jpg");
inpustream=url.openStream();
// http://www.bokee.com//topic/images/%E6%9C%AA%E6%A0%87%E9%A2%98-1(530).jpg
// <img src="/_upload/article/images/66/b6/810dfe294d62aa81fba5ca1baef9/57c958b6-72e8-4331-a431-24b06039b649.jpg">
// <img src="/_upload/article/images/99/a1/416529614b32ba6a2f824bbbafae/04b85865-f1b9-4128-b33f-04eff1e81c5a.jpg">
outputstream=new FileOutputStream("W://main//"+i+".png");
IOUtils.copy(inpustream, outputstream);
}
long end=System.currentTimeMillis();
System.out.println("下载成功，耗时"+(start-end)+"毫秒");
}
catch (MalformedURLException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
成果如下，最终满足了自己的需求，节省了时间。
