zoukankan      html  css  js  c++  java
  • hadoop配置项笔记

     

    hadoop版本:3.1.1

     

    core-site.xml

    dfs.namenode.rpc-address  

    作用:rpc地址。我在使用distcp时显式使用到了。

    默认值:port是8020

    我的设置:hostname:8020

     

    io.file.buffer.size

     

    作用:io操作的缓存大小,单位字节。由于磁盘I/O的速度是比较慢的,如果一个进程的内存空间不足,它会将内存中的部分数据暂时写到磁盘,当需要的时候,再把磁盘上面的数据写到内存上面。因此设置和的预读缓冲区大小来提高hadoop里面大文件顺序读的性能。以此来提高I/O性能。

     

    默认值:131072 (128MB)

     

    我的设置:默认值。

     

     

    hdfs-site.xml

    dfs.hosts 

    dfs.hosts.exclude

    作用:允许或排除的datanode列表。如有必要,使用这个配置控制临时的dn列表.

    默认值:空

    我的设置:空。可以是文件名的完整路径,文件内每行是一个主机名。

     

    dfs.blocksize

    作用:hdfs文件存储的数据块大小,单位字节b。

    默认值:268435456 (256MB)

    我的设置:默认值。

     

    dfs.namenode.handler.count

    作用:处理rpc调用的线程数。设置该值的一般原则是将其设置为集群大小的自然对数乘以20,即20logN,N为集群大小。 如果该值设的太小,明显的状况就是DataNode在连接NameNode的时候总是超时或者连接被拒。但NameNode的远程过程调用队列很大时,远程过程调用延时就会加大。

    默认值:10

    我的设置:默认值。

     

  • 相关阅读:
    [JS]手写动画最小时间间隔设置
    [CSS3]chrome浏览器中支持汉字的最小像素是12px,如何让显示更小的字体
    [HTML,CSS]div+css垂直水平居中
    promise经典题目
    HTML5新兴API
    使用MessageChannel(消息通道)进行深拷贝
    原生js手写Promise
    github图片显示不出来-已解决
    前端原生js加密解密
    vue-cli3前端工程静态文件下载
  • 原文地址:https://www.cnblogs.com/PigeonNoir/p/10451870.html
Copyright © 2011-2022 走看看