zoukankan      html  css  js  c++  java
  • Nutch2.1+solr3.6.1+mysql5.6问题

    1.Nutch2.1问题

    1.1

    问题:导入完成后,Nutch2.1里面runtime仍旧不能运行,出现jobfailed等错误。

    解决:runtime里的nutch调试过程和导入Eclipse差不多,都是在调试配置文件。将Eclipse里能运行的nutch的配置文件,特别是nutch-default.xml,nutch-site.xml,gora.properties替换runtime/local/conf里的文件。

             如果仍有错误,打开nutch-default.xml,找到plugin.folders属性项,修改默认value为runtime/local/plugins,可以用绝对路径。绝对路径仍旧有错,用相对路径;相对路径有错,再改到绝对路径。

            用相对路径时,注意./表示文件(nutch-default.xml)所在包(conf)的平级路径,此处的相对路径也就是./plugins。

    1.2

    问题:nutch在抓取数据时提示,“skiped,content xxxx truncated to xxxx”,并且没有插入数据库新的数据。

    解决:找到nutch-default.xml属性parser.skip.truncated修改为fasle。

    1.3

    问题:大面积出现Skipping http://auto.163.com/chemi/; different batch id (null)这样的提示

    解决:sb,我还没找到解决办法,就被你贴到网上了。

    1.4

    问题:很多数据并没有放入数据库webpage中

    解决:打开nutch-default.xml文件,找到file.content.limit属性,修改一个更大的值,比如可以修改为67108864;找到http.content.limit属性,修改一个更大的值。使更多的数据能够插入到数据库。

    2.solrwenti

    2.1

    3.mysql问题

    3.1

    问题:网上创建数据库时,找不到my.cnf

    解决:root权限下/etc/mysql/my.cnf

    3.2

    问题:创建数据库时,加入my.cnf的[mysqld]参数后系统不能启动或识别

    解决:确保输入的参数没有拼写错误。仍旧有错误的话查看mysql版本,5.6版本以下的话就不用修改my.cnf了。

    3.3

  • 相关阅读:
    django 添加字段, migrate时候生成一个默认值
    django 开发经验
    GeoIP2-python
    一些好用的django模块
    ubuntu linux samba
    动画工作室
    以太坊dApp全栈开发教程(引言)
    社交网络去中心化已成趋势,读懂核心底层技术选择和路线
    CryptoCurrency Security Standard (CCSS)
    HARNESS THE POWER OF DISTRIBUTED STORAGE IPFS AND SWARM IN ETHEREUM BLOCKCHAIN APPLICATIONS
  • 原文地址:https://www.cnblogs.com/fengfengqingqingyangyang/p/3166989.html
Copyright © 2011-2022 走看看