安装文件Win7 配置 Nutch 1.2

PS:今天上午，非常郁闷，有很多简单基础的问题搞得我有些迷茫，哎，代码几天不写就忘。目前又不当COO，还是得用心记代码哦！

    

Win7境环下置配 nutch-1.2

    

Step1：安装jdk

Step2：安装tomcat

Step3：安装cygwin

Step4：安装和置配nutch-1.2

Step5：测试nutch-1.2的爬虫功能

Step6：测试nutch-1.2的索检功能

    

    

    

Step1：安装jdk

    网上已有多许很好的教程了，这里不再赘述，只是调强两点

    

1. Jdk的安装路径中不能有文中

2. Jdk的安装路径中不能有空格

    

    

Step2：安装tomcat

    网上已经有多许成熟的教程了，不再赘述了。Apache-tomcat官网：http://tomcat.apache.org/

    

    

Step3：安装cygwin

    Cygwin官网：http://www.cygwin.com/

    Cygwin安装文件：http://www.cygwin.com/install.html

    

    Cygwin其实就是一个*nix系统的虚拟机（和ubuntu下的wine功能恰好相反）。由于nutch是用java编写的在*nix系统上运行了，为了可以在Windows系统上Run，所以就要需cygwin搭建一个*nix系统的模拟境环。

    Cygwin的详细安装进程没什么好说的，下载在安装文件setup.exe后，就点击“下一步”就OK了。只是醒提：cygwin的安装目录需是磁盘根目录，（尽量是认默置配就OK）。

    

    

Step4：安装和置配nutch-1.2

    Nutch-1.2的下载接链：http://archive.apache.org/dist/nutch/（选择：apache-nutch-1.2-bin.zip）

    

    

1. 下载完成后将其解压到目录：D:\Code\nutch-1.2（可以自定义）

2. 运行step3安装的Cygwin；输入命令将当前目录切换至nutch-1.2目录下；
   只要输入cd，然后将nutch-1.2目录拖进cygwin窗口，按下enter。
   
   

3. Nutch-1.2的安装测试，在cygwin窗口输入:bin/nutch。
   如果涌现Usage:nutch[-core] COMMAND等一串息信就示表nutch安装胜利。
   
   

    

    

Step5：测试nutch-1.2的爬虫功能

    

1. 置设系统变量NUTCH_JAVA_HOME，
   它的值就是java的安装目录，例如：C:\Java\jdk1.7.0_17

2. 置设要需取抓的网站主名域。
   在Nutch-1.2的安装目录下立建一个名为urls的文件夹，并在文件夹下立建url.txt文件,在文件中写入：http://www.sohu.com/（即要取抓网站的网址，注意最后要加斜杠）。

3. 置设网站过滤规则。
   辑编conf/crawl-urlfilter.txt文件，改修MY.DOMAIN.NAME部份。
   将
   # accept hosts in MY.DOMAIN.NAME
   +^http://([a-z0-9]*\.)*MY.DOMAIN.NAME/
   改成：
   # accept hosts in MY.DOMAIN.NAME
   +^http://([a-z0-9]*\.)*sohu.com/

4. 置设代理息信。
   辑编conf/nutch-site.xml文件。在<configuration>和</configuration>之间加添如下内容：
   <property>

    每日一道理
有些冷，有些凉，心中有些无奈，我一个人走在黑夜中，有些颤抖，身体瑟缩着，新也在抖动着，我看不清前方的路，何去何从，感觉迷茫，胸口有些闷，我环视了一下周围，无人的街头显得冷清，感到整个世界都要将我放弃。脚步彷徨之间，泪早已滴下……

    <name>http.agent.name</name>

    <value>http://www.sohu.com/</value>

    </property>

    <property>

    <name>http.agent.url</name>

    <value>http://www.sohu.com/</value>

    </property>

    <property>

    <name>http.robots.agents</name>

    <value>http://www.sohu.com/</value>

    </property>

    

5. 置设代理名
   辑编nutch-1.2\conf\nutch-default.xml文件，找<name>http.agent.name</name>，然后随意置设Value值。例如：
   
   

6. 运行crawl爬虫命令取抓内容

    运行cygwin后，
a）首先切换进入nutch-1.2的目录；
b）运行命令：exportLANG=”zh_CN.GBK” （置设linux境环变量）
c）运行命令：bin/nutch crawl urls -dir crawled -depth 4 -threads 3-topN 30


crawl 是nutch索检数据命令，面后跟上要索检的URL文件；

    -dir指定取抓内容所放存的目录；

    -depth示表以要取抓网站顶级网址为出发点的匍匐深度；

    -threads指定发并的线程数；

    -topN 取抓时每页的最大取抓接链。

    

7. 运行结果
   nutch-1.2的目录下多了个crawled目录，面下有文件如下：
   
   

    

    

Step6：测试nutch-1.2的索检功能

    主要在Apache-tomcat目录停止作操，以apache-tomcat-7.039为例：

    

1. 进入apache-tomcat-7.0.39目录，将webapps/root 文件夹重命名或删除。

2. 将nutch-1.2目录下的nutch-1.2.war复制到apache-tomcat-7.0.39\webapps目录下，重并命名为：ROOT.war。

3. 启用apache-tomcat，运行\apache-tomcat-7.0.39\bin\startup.bat

4. 在浏览器中输入http://localhost:8080/；

5. 此时\apache-tomcat-7.0.39\webapps\目录下就会涌现一个ROOT文件夹。
   辑编\apache-tomcat-7.0.39\webapps\ROOT\WEB-INF\classes\nutch-site.xml，如下图所示：
   
   
   红色框就是“step5：测试nutch-1.2的索检功能”中爬虫爬出来的数据文件夹。

6. 决解文中码乱问题，辑编\apache-tomcat-7.0.39\conf\server.xml文件，找到Connector部份，置设为：

    <Connectorport="8080"

    maxThreads="150"

    minSpareThreads="25"

    maxSpareThreads="75"

    enableLookups="false"

    redirectPort="8443"

    acceptCount="100"

    connectionTimeout="20000"

    disableUploadTimeout="true"

    URIEncoding="UTF-8"

    useBodyEncodingForURI="true"/>

    如下图所示：

    

7. 再次启用apache-tomcat，重新运行\apache-tomcat-7.0.39\bin\startup.bat

8. 在浏览器中输入http://localhost:8080/；结果如图所示：
   
   

文章结束给大家分享下程序员的一些笑话语录： 爱情观
　　爱情就是死循环，一旦执行就陷进去了。
　　爱上一个人，就是内存泄露--你永远释放不了。
　　真正爱上一个人的时候，那就是常量限定，永远不会改变。
　　女朋友就是私有变量，只有我这个类才能调用。
　　情人就是指针用的时候一定要注意，要不然就带来巨大的灾难。