zoukankan      html  css  js  c++  java
  • hadoop之 exceeds the limit of concurrent xcievers处理


    dfs.datanode.max.transfer.threads: 默认 4096 < 2.0之前该参数为dfs.datanode.max.xcievers >
    解释:Specifies the maximum number of threads to use for transferring data in and out of the DN.

    表示datanode上负责进行文件操作的线程数。如果需要处理的文件过多,而这个参数设置得过低就会有一部分文件处理不过来,就会报异常。
    linux系统中所有的文件操作都被绑定到一个socket上,进一步具体可以把他看做是一个线程。而这个参数就是指定这种线程的个数。
    在datanode里面有一个专门的线程组来维护这些线程,同时有一个守护线程来监视这个线程组的体量,它负责监测线程数量是否到达上线,
    超过就抛出异常,则需调大 hdfs-site.xml 文件中的 dfs.datanode.max.transfer.threads 。

    dfs.datanode.max.transfer.threads 参数设置过小,datanode 异常:
    ERROR org.apache.hadoop.dfs.DataNode: DatanodeRegistration(10.10.10.53:50010,
    storageID=DS-1570581820-10.10.10.53-50010-1224117842339,infoPort=50075, ipcPort=50020)
    :DataXceiver: java.io.IOException: xceiverCount 258 exceeds the limit of concurrent xcievers 256

    注意:dfs.datanode.max.transfer.threads 数目不能大于系统打开文件数的设置,即/etc/security/limits.conf中nofile的数值。

  • 相关阅读:
    W3C规范
    背景图片调整大小
    comfirm和prompt的区别
    position属性absolute与relative 的区别
    text-decoration和text-indent和text-shadow
    刷新网页跳转锚点
    安卓中location.href或者location.reload 不起作用
    $_SERVER 当前信息
    堆+思维——cf1330E
    树形dp——cf1332F【好题】
  • 原文地址:https://www.cnblogs.com/andy6/p/8398205.html
Copyright © 2011-2022 走看看