zoukankan      html  css  js  c++  java
  • Hadoop笔记 -- 优化

    通过修改配置文件

    dfs.datanode.max.xcievers

    Hadoop的Datanode有一个用于设置同时处理文件的上限个数的参数,这个参数叫xcievers(Hadoop的作者把这个单词拼错了)。在启动之前,先确认有没有配置Hadoop的conf目录下的hdfs-site.xml中的xceivers参数,默认值是256,这对于一个任务很多的集群来说太小了,至少是4096,一个大型集群通常比这个值还大得多:

    <property>
    <name>dfs.datanode.max.xcievers</name>
    <value>4096</value>
    </property>
    

    对于HDFS,如果修改此项配置,要记得重启。如果没有这一项配置,可能会遇到奇怪的失败。虽然会在Datanode的日志中看到xcievers exceeded,但是运行起来会报missing blocks错误,例如:

    java.io.IOException:xceiverCount 258 exceeds the limit of con current xcievers 256
    
  • 相关阅读:
    图片处理中的Dithering技术
    网络I/O模型
    并发编程(二)
    并发编程(一)
    socket编程(二)
    socket编程(一)
    异常处理
    软件开发规范
    面向对象进阶
    多态与封装
  • 原文地址:https://www.cnblogs.com/junzifeng/p/11912866.html
Copyright © 2011-2022 走看看