zoukankan      html  css  js  c++  java
  • hadoop Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailingout

    程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。
    修改办法:
    修改2个文件。
            /etc/security/limits.conf
    vi /etc/security/limits.conf
    加上:
    * soft nofile 102400
    * hard nofile 409600

        $cd /etc/pam.d/
        $sudo vi login
            添加        session    required     /lib/security/pam_limits.so

    针对第一个问题我纠正下答案:
    这是reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上限造成的,上限默认为5。引起此问题的方式可能会有很多种,比如网络连接不正常,连接超时,带宽较差以及端口阻塞等。。。通常框架内网络情况较好是不会出现此错误的。


    2:Too many fetch-failures
    Answer:
    出现这个问题主要是结点间的连通不够全面。
    1) 检查 、/etc/hosts
       要求本机ip 对应 服务器
       要求要包含所有的服务器ip + 服务器名
    2) 检查 .ssh/authorized_keys
       要求包含所有服务器(包括其自身)的public key

    3:处理速度特别的慢 出现map很快 但是reduce很慢 而且反复出现 reduce=0% 
    Answer:
    结合第二点,然后
    修改 conf/hadoop-env.sh 中的export HADOOP_HEAPSIZE=4000 

    4:能够启动datanode,但无法访问,也无法结束的错误
    在重新格式化一个新的分布式文件时,需要将你NameNode上所配置的dfs.name.dir这一namenode用来存放NameNode 持久存储名字空间及事务日志的本地文件系统路径删除,同时将各DataNode上的dfs.data.dir的路径 DataNode 存放块数据的本地文件系统路径的目录也删除。如本此配置就是在NameNode上删除/home/hadoop/NameData,在DataNode上删除/home/hadoop/DataNode1和/home/hadoop/DataNode2。这是因为Hadoop在格式化一个新的分布式文件系统时,每个存储的名字空间都对应了建立时间的那个版本(可以查看/home/hadoop /NameData/current目录下的VERSION文件,上面记录了版本信息),在重新格式化新的分布式系统文件时,最好先删除NameData 目录。必须删除各DataNode的dfs.data.dir。这样才可以使namedode和datanode记录的信息版本对应。
    注意:删除是个很危险的动作,不能确认的情况下不能删除!!做好删除的文件等通通备份!!

    5:java.io.IOException: Could not obtain block: blk_194219614024901469_1100 file=/user/hive/warehouse/src_20090724_log/src_20090724_log
    出现这种情况大多是结点断了,没有连接上。

    6:java.lang.OutOfMemoryError: Java heap space
    出现这种异常,明显是jvm内存不够得原因,要修改所有的datanode的jvm内存大小。
    Java -Xms1024m -Xmx4096m
    一般jvm的最大内存使用应该为总内存大小的一半,我们使用的8G内存,所以设置为4096m,这一值可能依旧不是最优的值。

  • 相关阅读:
    Spring 中出现Element : property Bean definitions can have zero or more properties. Property elements correspond to JavaBean setter methods exposed by the bean classes. Spring supports primitives, refer
    java定时器schedule和scheduleAtFixedRate区别
    hql语句中的select字句和from 字句
    使用maven搭建hibernate的pom文件配置
    Failure to transfer org.apache.maven:maven-archiver:pom:2.5 from http://repo.maven.apache.org/ maven2 was cached in the local repository, resolution will not be reattempted until the update interv
    对于文件File类型中的目录分隔符
    hibernate的事务管理和session对象的详解
    解决mac 中的myeclipse控制台中文乱码问题
    ibatis selectKey用法问题
    Java中getResourceAsStream的用法
  • 原文地址:https://www.cnblogs.com/mfryf/p/3125127.html
Copyright © 2011-2022 走看看