hadoop版本:3.1.1
core-site.xml
dfs.namenode.rpc-address
作用:rpc地址。我在使用distcp时显式使用到了。
默认值:port是8020
我的设置:hostname:8020
io.file.buffer.size
作用:io操作的缓存大小,单位字节。由于磁盘I/O的速度是比较慢的,如果一个进程的内存空间不足,它会将内存中的部分数据暂时写到磁盘,当需要的时候,再把磁盘上面的数据写到内存上面。因此设置和的预读缓冲区大小来提高hadoop里面大文件顺序读的性能。以此来提高I/O性能。
默认值:131072 (128MB)
我的设置:默认值。
hdfs-site.xml
dfs.hosts
dfs.hosts.exclude
作用:允许或排除的datanode列表。如有必要,使用这个配置控制临时的dn列表.
默认值:空
我的设置:空。可以是文件名的完整路径,文件内每行是一个主机名。
dfs.blocksize
作用:hdfs文件存储的数据块大小,单位字节b。
默认值:268435456 (256MB)
我的设置:默认值。
dfs.namenode.handler.count
作用:处理rpc调用的线程数。设置该值的一般原则是将其设置为集群大小的自然对数乘以20,即20logN,N为集群大小。 如果该值设的太小,明显的状况就是DataNode在连接NameNode的时候总是超时或者连接被拒。但NameNode的远程过程调用队列很大时,远程过程调用延时就会加大。
默认值:10
我的设置:默认值。