zoukankan      html  css  js  c++  java
  • hadoop遇到的问题及处理

    1:杀掉hadoop作业

    列出作业
    ./hadoop job -list
    
    杀掉
    ./hadoop job -kill job_id
    

    1:某些节点出现running asprocess XXX. Stop it first

    这是由于各节点登录用户为root,在启动hadoop前,务必将各节点用户切换至普通用户hadoop下,切换后的启动效果如下:从图中可以看出hadoop集群中服务的启动顺序:namenode、datanode、secondarynamenode、jobtracker以及tasktracker;
    

    2:某节点namenode/tasktracker自动关闭

    关闭该节点防火墙,serviceiptables stop(立即生效)、chkconfig iptables off(重启后生效);

    3:某节点jps命令无效

    JDK环境变量为配置成功。JPS在/usr/java/XXX/bin下,将其加入到/etc/profile中。
    

    4:多次格式化HDFS注意事项

    先将每个节点上的/usr/hadoop/tmp文件夹删除,这是因为每次格式化的时候会重新创建一个NamenodeID,而/tmp/dfs/data下包含了上次格式化的NamenodeID,hadoopnamenode –format会清空namenode下的数据,但是不能同时清空datanode的数据,所以格式化前,先将所有的tmp清空。
    

    5:JobTracker is in safe mode

    这表示JobTracker处于安全模式,用bin/hadoop dfsadmin -safemode leave退出安全模式。
    

    6:Can not start tasktracker becausejava.net.BindException:Address already in use

    这表明某端口正被使用,查看日志获得端口号port,并通过ps –ef|grep port查看端口被哪个进程占用,关闭该进程,有时关闭该进程后重启计算机才能解决。
    

    7:.Error: Java heap space

    这表明JVM内存不够,在mapred-site.xml中设置属性mapred.child.java.opts,可以设为-Xmx1024M,这里设置的值最好是物理内存的一半。
    

    8:map 100%  reduce 0%

    设置host为127.0.0.1
    

      

  • 相关阅读:
    vue项目中npm安装sass,less,stylus
    jQueryniceScroll滚动条错位问题
    基于github发布 个人网站/博客
    【转载】预处器的对比——Sass、LESS和Stylus
    元素,布局方式,BFC和清除浮动
    使用git向github中添加项目并更新(备忘录)
    nginx 之 grok 过滤
    gitlab 同步小脚本
    svn同步小脚本
    使用pip命令自动生成项目安装依赖清单
  • 原文地址:https://www.cnblogs.com/tommyli/p/3326538.html
Copyright © 2011-2022 走看看