Java分布式爬虫Nutch教程——导入Nutch工程，执行完整爬取

      <h1 class="post-title entry-title">Java分布式爬虫Nutch教程——导入Nutch工程，执行完整爬取</h1>

by briefcopy · Published 2016年4月25日 · Updated 2016年12月11日

				<div class="clear"></div>

				<div class="entry themeform">
					<div class="entry-inner">
						<p>在使用本教程之前，需要满足条件：</p>

• 1）有一台Linux或Linux虚拟机
• 2）安装JDK（推荐1.7）
• 3）安装Apache Ant

下载Nutch源码：

推荐使用Nutch 1.9,官方下载地址：http://mirrors.hust.edu.cn/apache/nutch/1.9/apache-nutch-1.9-src.zip

安装IDE：

推荐使用Intellij或者Netbeans，如果用eclipse也可以，不推荐。
Intellij官方下载地址：http://www.jetbrains.com/idea/download/

转换：
Nutch源码是用ant进行构建的，需要转换成eclipse工程才可以导入IDE正确使用,Intellij和Netbeans都可以支持ecilpse工程。
解压下载的apache-nutch-1.9-src.zip，得到文件夹apache-nutch-1.9。

在执行转换之前，我们先修改一下ivy中的一个源，将它改为开源中国的镜像，否则转换的过程会非常缓慢。(ant源码中并没有附带依赖jar包，ivy负责从网上自动下载jar包）。
修改apache-nutch-1.9文件夹中的ivy/ivysettings.xml：

找到：

 <property name="repo.maven.org"  
  value="http://repo1.maven.org/maven2/"  
  override="false"/>  

将value修改为http://maven.oschina.net/content/groups/public/ ,修改后：

<property name="repo.maven.org"  
      value="http://maven.oschina.net/content/groups/public/"  
      override="false"/>  

保存并退出，保证当前目录为apache-nutch-1.9，执行命令：

ant eclipse -verbose  

然后耐心等待，这个过程ant会根据ivy从中心仓库下载各种依赖jar包，可能要十几分钟。

-verbose参数加上之后可以看到ant过程的详细信息。

10分钟左右，转换成功：

打开Intellij, File -> Import Project ->选择apache-nutch-1.9文件夹，确定后选择Import project from external model(Eclipse)

一直点击next到结束。成功将项目导入Intellij:

源码导入工程后，并不能执行完整的爬取。Nutch将爬取的流程切分成很多阶段，每个阶段分别封装在一个类的main函数中。在外面通过Linux Shell调用这些main函数，来完整爬取的流程。我们在后续教程中会对流程调度做一个详细的说明。

下面我们来运行Nutch中最简单的流程：Inject。我们知道爬虫在初始阶段，是需要人工给出一个或多个url，作为起始点（广度遍历树的树根）。Inject的作用，就是把用户写在文件里的种子(一行一个url，是TextInputFormat)，插入到爬虫的URL管理文件(crawldb，是SequenceFile)中。
从src文件夹中找到org.apache.nutch.crawl.Injector类：

在阅读Nutch源码的过程中，最重要的就是找到每个类的main函数：

可以看到,main函数其实是利用ToolRunner，执行了run(String[] args)。这里ToolRunner.run会从第二个参数(new Injector())这个对象中，找到run(String[] args)这个方法执行。

从run方法中可以看出来，String[] args需要有2个参数，第一个参数表示爬虫的URL管理文件夹(输出），第二个参数表示种子文件夹（输入）。对hadoop中的map reduce程序来说，输入文件夹是必须存在的，输出文件夹应该不存在。我们创建一个文件夹 /tmp/urls，来存放种子文件（作为输入）。

在seed.txt中加入一个种子URL

http://www.cnbeta.com/  

指定一个文件夹/tmp/crawldb来作为URL管理文件夹（输出）
有一种简单的方法来指定args，直接在main函数下加一行：

args=new String[]{"/tmp/crawldb","/tmp/urls"};  

运行这个类，我们会发现报错了（下面只给了错误的一部分）：

Caused by: java.lang.RuntimeException: x point org.apache.nutch.net.URLNormalizer not found.  
    at org.apache.nutch.net.URLNormalizers.<init>(URLNormalizers.java:123)  
    at org.apache.nutch.crawl.Injector$InjectMapper.configure(Injector.java:84)  
    ... 23 more  

这是因为用这种方式执行，按照Nutch默认的配置，不能正确地加载插件。我们需要修改Nutch的配置文件，为插件文件夹指定一个绝对路径，修改conf/nutch-default.xml文件，找到：

<property>  
        <name>plugin.folders</name>  
        <value>plugins</value>  
        <description>Directories where nutch plugins are located.  Each  
            element may be a relative or absolute path.  If absolute, it is used  
            as is.  If relative, it is searched for on the classpath.</description>  
    </property>  

将value修改为绝对路径 apache-nutch-1.9所在文件夹+”/src/plugin”，比如我的配置：

<property>  
  <name>plugin.folders</name>  
  <value>/home/hu/apache/apache-nutch-1.9/src/plugin</value>  
  <description>Directories where nutch plugins are located.  Each  
  element may be a relative or absolute path.  If absolute, it is used  
  as is.  If relative, it is searched for on the classpath.</description>  
</property>  

建议在修改nutch-default.xml时，将原来的配置注释，并复制一份新的修改，方便还原：

现在再运行Injector.java,看到结果：

运行成功。

读取爬虫文件：

我们查看程序的输出 tree /tmp/crawldb ,如果没有tree命令，就直接用资源管理器之类的查看吧：

查看里面的data文件：

vim /tmp/crawldb/current/part-00000/data  

这是一个SequenceFile，Nutch中除了Inject的输入（种子）之外，其他文件 全部以SequenceFile的形式存储。SequenceFile的结构如下：

key0 value0  
key1 value1  
key2  value2  
......  
keyn  valuen  

以key value的形式，将对象序列（key value序列）存储到文件中。我们从SequenceFile头部可以看出来key value的类型。

上面的SequenceFile中，可以看出来，key的类型是org.apache.hadoop.io.Text，value的类型是org.apache.nutch.crawl.CrawlDatum。
下面教程给出如何读取SequenceFile的代码。

新建一个类org.apache.nutch.example.InjectorReader

package org.apache.nutch.example;  
import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.SequenceFile;

import org.apache.hadoop.io.Text;

import org.apache.nutch.crawl.CrawlDatum;
import java.io.IOException;
/**

Created by hu on 15-2-9.

*/

public class InjectorReader {

public static void main(String[] args) throws IOException {

Configuration conf=new Configuration();

Path dataPath=new Path("/tmp/crawldb/current/part-00000/data");

FileSystem fs=dataPath.getFileSystem(conf);

SequenceFile.Reader reader=new SequenceFile.Reader(fs,dataPath,conf);

Text key=new Text();

CrawlDatum value=new CrawlDatum();

while(reader.next(key,value)){

System.out.println("key:"+key);

System.out.println("value:"+value);

}

reader.close();

}

}