zoukankan      html  css  js  c++  java
  • Tomcat和Nutch的安装

    一、tomcat的安装

    1. 下载tomcat,下载地址为:http://tomcat.apache.org/download-70.cgi

    2.  解压下载下来的文件,tar zxvf .... 解压(例如我是解压之后重命名为“tomcat”在了/opt/下)

    3. 为tomcat7配置管理员账户:

        编辑tomcat/conf/tomcat-users.xml

        在<tomcat-users>.............</tomcat-users>之间加上:

    <role rolename="admin"/>
    <role rolename="manager-gui"/>
    <user username="admin" password="admin" roles="manager-gui"/>
    <user username="yourname" password="yourpassword" roles="admin,manager-gui"/>

    3. 进入tomcat文件夹,运行   bin/startup.sh   启动tomcat服务器。(另:  bin/shutdown.sh   停止tomcat服务器)

    4. 在浏览器中输入http://locahost:8080/ (出现以下页面说明Tomcat安装成功)

    点击中间的“Manager App”,按钮会提示输入用户名和密码(对应填上前面的红色字体加粗部分  “yourname”  和 “yourpassword” )

    之后会出现:

    二、nutch1.2的安装

    1.下载nutch1.2软件。下载地址为:http://archive.apache.org/dist/nutch/

    2.解压,把解压后的文件夹nutch-1.2重命名“nutch”拷贝到/opt/下中,

    3.进入/opt/nutch,

    4.在nutch下新建一个文件夹,命名为"urls",在urls文件夹下创建新空白文档(名字任意都行);

    你建的空白文档中写入:

    http://www.163.com
    http://news.163.com/14/0419/03/9Q5QG44H00014AED.html
    http://news.163.com/14/0419/15/9Q71QJ1N00014JB6.html



    5.修改nutch/conf/crawl-urlfilter.txt中的参数

    修改倒数第二行的内容,

    将"+^http://([a-z0-9]*.)*Y.DOMAIN.NAME/"改为入“+^http://([a-z0-9]*.)*163.com/”


    6.修改nutch/conf/nutch-site.xml文件中的内容:
    在该文件中输入以下内容:


    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="http://luorenhuan.blog.163.com/blog/configuration.xsl"?>
    <!-- Put site-specific property overrides in this file. -->


    <configuration>
    <property>
    <name>http.agent.name</name>
    <value>HD nutch agent</value>
    </property>

    <property>
    <name>http.agent.version</name>
    <value>1.2</value>
    </property>
    </configuration>


    7.运行网络蜘蛛抓紧网页。输入以下命令:

    bin/nutch crawl urls -dir crawl.demo -depth 2 -topN 2000 -threads 2 >& crawl.log

    -dir =crawl.demo 指明下载数据存放路径,该目录不存在时,会被自动创建
    -deptch = 2       下载深度为2
    -topN = 2000      下载符合条件的前2000个页面
    -threads = 2       启动的线程数目

    >& crawl.log     将抓取日志放到nutch/crawl.log中(有助以后的排错)


    蜘蛛运行时会输出大量数据,抓取结束之后,可以发现nutch下crawl.demo目录被生成,里面有几个目录。(注:当你再一次运行抓取命令时,请手动将crawl.demo删除,否则将刷去失败)

    三、在Tomcat中部署Nutch项目

    1. 将Nutch根目录下的nutch-1.2.war文件放置到"/opt/tomcat/webapps",稍等会儿,Tomcat便会自行将其解压

    注:此时要重启tomcat,即先bin/shutdown.sh,然后bin/startup.sh,不然可能在进行搜索时,无法出现结果


    2. 修改nutch-site.xml
    在上述目录下的"/tomcat/webapps/nutch-1.2/WEB-INF/classes",加入以下内容:


    <property>
        <name>searcher.dir</name>
        <value>/optl/nutch/crawl.demo</value>
        <description></description>
    </property>


    上面的value要改成第三步蜘蛛的下载目录,Tomcat就是从这个存取Nutch抓下来的东西的文件夹中读取数据的,所以必须保证两者的准确一致。


    3. 使用Nutch搜索

    经过这一些列的设置,在第一大步最后一个页面会多出一个“nutch1.2”,如图:


    点击nutch-1.2,如图:

    此时搜索一下"网易",发现搜索到很多符合的记录,但是显示的都是乱码,此时需要修改tomcat的位置文件,
    打开"/opt/tomcat/conf/server.xml",将Connector这个元素改成一下内容:


    <Connector port="8080" protocol="HTTP/1.1" 
    connectionTimeout="20000" 
        redirectPort="8443" 
    URIEncoding="UTF-8"  
    useBodyEncodingForURI="true"
    />

    也许你的serve.xml文件中此行不是这样,多或少了一些属性,但不要紧,重要的就是加粗的部分。作用的也一目了然,就是设置字符编码的。      

    搜索结果如下:

    以上就是安装Tomcat+Nutch的全部过程!

    参考:http://www.cnblogs.com/dyllove98/archive/2013/06/16/3138837.html

  • 相关阅读:
    软件测试homework2
    软件测试homework1
    ubuntu14 安装QUME+xv6
    判断两线段是否相交 模板
    并查集 HDU1558
    并查集 HDU1272
    并查集 HDU1232
    数据结构之单向链表 UVa11988
    Java大数 字符串处理 HDU2100
    Java大数中的小数 HDU1753
  • 原文地址:https://www.cnblogs.com/dian-Kido/p/3675787.html
Copyright © 2011-2022 走看看