zoukankan      html  css  js  c++  java
  • Hadoop常见错误解决

    1. 通过命令和查看日志文件查看hadoop启动和运行情况

    在NameNode端,可以通过

    tail -100 /var/log/hadoop/hadoop/hadoop-hadoop-namenode-hadoop-namenode.log

    查看NameNode的运行日志

    在DataNode端也可以通过

    cat /var/log/hadoop/hadoop/hadoop-hadoop-datanode-hadoop-datanode1.log

    查看DataNode的运行日志。

    通过jps命令分别在datanode和namenode端运行,查看已启动的服务。

    2. NameNode不能启动:

    Cannot lock storage ……tmp/dfs/name. The directory is already locked.

    也许是因为执行hadoop的账号对这个文件夹tmp/dfs/name没有权限。可以使用如下命令解决

    chown -R hadoop:hadoop /usr/hadoop

    3. DataNode不能启动

    在客户端日志显示 namenode namespaceID = 1713611278; datanode namespaceID = 596511341

    这个问题基本上是因为在namenode端多次运行hadoop namenode –format 导致的。在hadoop的core-site.xml文件中(不同的hadoop版本名字会有不同)找到<name>hadoop.tmp.dir</name>,清空对应的文件夹。举例:

    [hadoop@hadoop-datanode1 hadoop]$ cat core-site.xml
    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
    <!-- Put site-specific property overrides in this file. -->
    
    <configuration>
    <!--global properties -->
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/hadoop/tmp</value>
    </property>

    清空

    [hadoop@hadoop-datanode1 tmp]$ rm -rf /usr/hadoop/tmp/*

    然后重新启动hadoop,在datanode端用jps看是否datanode已经启动了。

    4. 运行wordcount程序时fs找不到文件夹:

    Input path does not exist: hdfs://localhost:9000/user/input

    在集群环境中,处理的文件都是在hdfs中,所以必须把要处理的文件复制到hadoop 某个文件夹中。下面举例,在fs中新建文件夹,把提前做好的wordcount文件复制带hdfs中,最后运行程序。

    [hadoop@hadoop-namenode ~]$ hadoop fs -mkdir /tmp/wordcount/input
    [hadoop@hadoop-namenode ~]$ hadoop fs -put /home/hadoop/wordcount/input /tmp/wordcount/input
    [hadoop@hadoop-namenode ~]$ hadoop fs -ls /tmp/wordcount/input
    
     hadoop jar /home/hadoop/hadoop-examples-1.1.2.jar wordcount /tmp/wordcount/input/input /tmp/wordcount/output

    查看结果

    hadoop fs -cat /tmp/wordcount/output/part-r-00000
  • 相关阅读:
    Reporting Services无法连接ORACLE,提示:System.Data.OracleClient 需要 Oracle 客户端软件 8.1.7 或更高版本
    ORA-12504:tns:监听程序在 CONNECT_DATA中未获得SERVICE_NAME
    指针
    将gridview 的数据导出EXCEL
    SAP 销售订单中采购标识无法修改
    Spring aop 实例(转)
    JVM — 性能调优
    Linux命令(持续更新)
    J.U.C|一文搞懂AQS(转)
    windows下监控和分析java进程
  • 原文地址:https://www.cnblogs.com/haoxinyue/p/hadoop.html
Copyright © 2011-2022 走看看