zoukankan      html  css  js  c++  java
  • 利用Nutch和Tomcat构建搜索引擎

    利用NutchTomcat构建搜索引擎

    1.  安装环境及软件版本介绍

        本教程是在Linux Ubuntu 12.04 desktop i386操作系统上搭建,结合使用了Nutch-1.2和Apache-Tomcat8.0.0构建搜索引擎(其他版本可能方法于此不同)。其中Apache-Tomcat8.0.0将本地机器配置成小型web服务器,Nutch1.2作为搜索引擎的核心,完成了网页爬取、索引构建和响应查询的的功能。

        需要安装的组件:

        Ø  JDK1.7.0:http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

        Ø  Apache-Tomcat8.0.0: http://tomcat.apache.org/download-80.cgi

        Ø  Nutch-1.2:http://archive.apache.org/dist/nutch/

    2.  安装JDK1.7.0

        (1)打开网址http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html,下载相应的JDK文件;    

           (2)解压文件;

           (3)配置环境变量;


           (4)检查是否安装正确

    3.  nutch安装的配置

      (1)打开网址http://archive.apache.org/dist/nutch/ 下载nutch-1.2;

           (2)解压文件;

           (3)修改工作目录和权限;

           (4)填写配置文件;

    4.  Tomcat安装和配置

      (1)打开网址http://tomcat.apache.org/download-80.cgi, 下载Tomcat8.0.0;

      (2)解压文件;

           (3)修改工作目录和权限;

    5.  抓取网页内容

           (1)修改配置文件crawl-urlfilter.txt,把要爬取的网页url的正则表达式填写到适当的位置;

           (2)在nutch根目录下建立种子文件,填写起始的url地址;

           (3)输入命令,开始爬取,等待爬取完成;

    参数说明:

           Crawl           运行爬虫功能

            Seed.txt        爬虫种子url保存的文件

           -dir               爬虫抓取结果保存的路径

           -depth 10      爬取的深度是10

           -topN 20       每个网页取前20个url

           -threads 5     启用5线程

    6.  构建搜索引擎

             (1)把nutch根目录下的nutch-1.2.war文件拷贝到tomcat根目录下webapps文件夹内;

           (2)运行tomcat服务器;

           (3)等待tomcat自动生成文件,然后修改生成的nutch-size.xml文件,把6节中抓取的网页内容的文件夹填写到配置文件中;

           (4)重启tomcat,启用上一步配置;

    7.  查看结果

             (1)打开任意的浏览器,这里以chrome浏览器为例,在地址栏输入http://localhost:8080/nutch-1.2

      (2)在编辑框内填写要搜索的内容,以搜狐为例;

  • 相关阅读:
    OpenCV之设计模式
    ca
    BMP结构详解
    Lucas–Kanade光流算法学习
    卡尔曼
    hash+链表
    文件操作
    查找
    fseek效率
    大家都说3C直连网络,3C网络是指什么呢?
  • 原文地址:https://www.cnblogs.com/Dream-Fish/p/3949468.html
Copyright © 2011-2022 走看看