zoukankan      html  css  js  c++  java
  • hadoop配置项笔记

     

    hadoop版本:3.1.1

     

    core-site.xml

    dfs.namenode.rpc-address  

    作用:rpc地址。我在使用distcp时显式使用到了。

    默认值:port是8020

    我的设置:hostname:8020

     

    io.file.buffer.size

     

    作用:io操作的缓存大小,单位字节。由于磁盘I/O的速度是比较慢的,如果一个进程的内存空间不足,它会将内存中的部分数据暂时写到磁盘,当需要的时候,再把磁盘上面的数据写到内存上面。因此设置和的预读缓冲区大小来提高hadoop里面大文件顺序读的性能。以此来提高I/O性能。

     

    默认值:131072 (128MB)

     

    我的设置:默认值。

     

     

    hdfs-site.xml

    dfs.hosts 

    dfs.hosts.exclude

    作用:允许或排除的datanode列表。如有必要,使用这个配置控制临时的dn列表.

    默认值:空

    我的设置:空。可以是文件名的完整路径,文件内每行是一个主机名。

     

    dfs.blocksize

    作用:hdfs文件存储的数据块大小,单位字节b。

    默认值:268435456 (256MB)

    我的设置:默认值。

     

    dfs.namenode.handler.count

    作用:处理rpc调用的线程数。设置该值的一般原则是将其设置为集群大小的自然对数乘以20,即20logN,N为集群大小。 如果该值设的太小,明显的状况就是DataNode在连接NameNode的时候总是超时或者连接被拒。但NameNode的远程过程调用队列很大时,远程过程调用延时就会加大。

    默认值:10

    我的设置:默认值。

     

  • 相关阅读:
    进程的概念与结构
    http://goeasy.io/cn/
    java实现扫二维码登录功能
    java发送短信验证码的功能实现
    java实现注册邮箱激活验证
    开启POP3/SMTP服务
    java生成6位随机数字
    javamail实现注册激活邮件
    MySQL SQL语句 生成32位 UUID
    Data source rejected establishment of connection, message from server: "Too many connections"
  • 原文地址:https://www.cnblogs.com/PigeonNoir/p/10451870.html
Copyright © 2011-2022 走看看