zoukankan      html  css  js  c++  java
  • tomcat和nutch的安装

    一、tomcat的安装

    1. 下载tomcat,下载地址为:http://tomcat.apache.org/download-70.cgi

    2.  解压下载下来的文件,tar zxvf ....

    3. 进入解压后的文件,运行/bin文件下的startup.sh,启动tomcat服务器。

    4. 在浏览器中输入http://locahost:8080/, 若出现apache Tomcat的界面,则说明正常。


    5.若要关闭tomcat服务器,则输入bin文件的shutdown.sh即可


    二、nutch1.2的安装

    1.下载nutch1.2软件。下载地址为:http://archive.apache.org/dist/nutch/

    2.解压,把解压后的文件夹nutch-1.2拷贝到/usr/local中,

    3.进入/usr/local/nutch-1.2,


    4.创建weburls.txt
    在nutch-1.2下新建一个文本文件,命名为"weburls.txt",输入"http://www.163.com"


    5.修改crawl-urlfilter.txt中的参数
    从终端打开craw-urlfilter.txt,依次输入以下命令
    cd /usr/local/nutch-1.2/conf/
    vim crawl-urlfilter.txt


    修改倒数第二行的内容,将"+^http://([a-z0-9]*\.)*Y.DOMAIN.NAME/"改为入“+^http://([a-z0-9]*\.)*163.com/”


    6.修改nutch-site.xml文件中的内容:
    在终端输入vim nutch-site.xml
    在该文件中输入以下内容:
    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="http://luorenhuan.blog.163.com/blog/configuration.xsl"?>
    <!-- Put site-specific property overrides in this file. -->


    <configuration>
    <property>
    <name>http.agent.name</name>
    <value>HD nutch agent</value>
    </property>

    <property>
    <name>http.agent.version</name>
    <value>1.2</value>
    </property>
    </configuration>


    7.运行网络蜘蛛抓紧网页。输入以下命令:
     bin/nutch crawl weburls.txt -dir localweb -depth 2 -topN 100 -threads 2
    -dir = localweb  指明下载数据存放路径,该目录不存在时,会被自动创建
    -deptch = 2       下载深度为2
    -topN = 100      下载符合条件的前100个页面
    -threads = 2       启动的线程数目


    蜘蛛运行时会输出大量数据,抓取结束之后,可以发现localweb目录被生成,里面有几个目录。


    三、在Tomcat中部署Nutch项目

    1. 复制nutch-1.2
    将Nutch根目录下的nutch-1.2.war文件放置到"/usr/local/tomcat-7.0.40/webapps",稍等会儿,Tomcat便会将其解压


    注:

    此时要重启tomcat,即先./shutdown.sh,然后./startup.sh,不然可能在进行搜索时,无法出现结果


    2. 修改nutch-site.xml
    在上述目录下的"/usr/local/tomcat-7.0.40/webapps/nutch-1.2/WEB-INF/classes",加入以下内容:
    <property>
        <name>searcher.dir</name>
        <value>/usr/local/nutch-1.2/localweb</value>
        <description></description>
    </property>


    上面的value要改成第三步蜘蛛的下载目录,Tomcat就是从这个存取Nutch抓下来的东西的文件夹中读取数据的,所以必须保证两者的准确一致


    3. 使用Nutch搜索
    在浏览器中输入“http://localhost:8080/nutch-1.2”,可以看到Nutch的主页面,如图:


     
    此时搜索一下"网易",发现搜索到很多符合的记录,但是显示的都是乱码,此时需要修改tomcat的位置文件,
    打开"/usr/local/tomcat-7.0.40/conf/server.xml",将Connector这个元素改成一下内容:
    <Connector port="8080" protocol="HTTP/1.1" 
    connectionTimeout="20000" 
        redirectPort="8443" 
    URIEncoding="UTF-8"  
    useBodyEncodingForURI="true"
    />

    也许你的serve.xml文件中此行不是这样,多或少了一些属性,但不要紧,重要的就是加粗的部分。作用的也一目了然,就是设置字符编码的。      

    搜索结果如下:



    以上就是安装Tomcat+Nutch的全部过程!


    参考:

    1.http://luorenhuan.blog.163.com/blog/static/18481730920113237134137/


  • 相关阅读:
    Jquery ajax的访问 WebService 的方法传参ASMX实例总结
    sql的行转列(PIVOT)与列转行(UNPIVOT) sqlserver
    JS获取url参数。分开获取根据值KEY,快速简单
    梦幻西游手游帮派技能费用表60-70-80-90-100级
    html.div禁用点击事件.JQ.JS设置DIV及包含里面控件不能点击
    js判断是否是ie浏览器且给出ie版本,IE67891011
    @media 兼容ie8-CSS3响应式布局(@media screen)兼容IE6-8的方法 (IE9以下)
    读取,设置指定目录下的配置文件的节点key value。config或XML
    input type="number" 禁止输入字母E,只能输入数字和小数点
    .net NPOI导出EXCEL多个sheet
  • 原文地址:https://www.cnblogs.com/dyllove98/p/3138837.html
Copyright © 2011-2022 走看看