Hadoop学习笔记——配置文件

下载hadoop的原生版本，版本选择2.6.0，下载地址

https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz

解压后可以看到

其中配置文件在 /etc/hadoop目录下

解压后默认的配置文件都是空的，需要自行配置，下面为配置文件的作用

其中比较重要的是前4个配置文件，分别为core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml

可以参考文档，该文档的版本为4.3.0，：Hadoop参数汇总

默认的配置文件可以参考官方文档

https://hadoop.apache.org/docs/r2.6.0/

左下角有配置的链接

 

1.core-site.xml

Hadoop全局配置参数，例如HDFS和MapReduce常用的I/O设置等

https://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/core-default.xml

配置含义和调优建议可以参考

http://tonglin0325.github.io/xml/hadoop/2.6.0/core-default.xml

2.hdfs-site.xml

hdfs配置文件

https://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

配置含义和调优建议可以参考

http://tonglin0325.github.io/xml/hadoop/2.6.0/hdfs-default.xml

3.mapred-site.xml

mapreduce配置文件

https://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

配置含义和调优建议可以参考

http://tonglin0325.github.io/xml/hadoop/2.6.0/mapred-default.xml

4.yarn-site.xml

yarn配置文件

https://hadoop.apache.org/docs/r2.6.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

配置含义和调优建议可以参考

http://tonglin0325.github.io/xml/hadoop/2.6.0/yarn-default.xml

5.httpfs-site.xml

httpfs模块配置文件

6.capacity-scheduler.xml

配置了yarn资源调度器运行中的各项参数

7.hadoop-policy.xml

用于配置服务级别授权

8.kms-acls.xml

9.kms-site.xml