zoukankan      html  css  js  c++  java
  • 【大数据系列】hadoop集群的配置

    一、hadoop的配置文件分类

    1、只读类型的默认文件

        core-default.xml     hdfs-default.xml    mapred-default.xml   mapred-queues.xml

    2、定位设置

        core-site.xml   hdfs-site.xml   mapred-site.xml  mapred-queues.xml

    3、守护进程设置

         hadoop-env.sh

    二、守护进程配置表

    守护进程(Daemoon) 配置选项(Configure Options)
    NameNode     HADOOP_NAMENODE_OPTS
    DataNode HADOOP_DATANODE_OPTS
    SecondaryNameNode HADOOP_SECONDARYNAMENODE_OPTS
    JobTracker HADOOP_JOBTRACKER_OPTS
    TackTracker HADOOP_TASKTRACKER_OPTS

    三、core-site  hdfs-site  mapred-site的配置

    1、core-site.xml

    参数(Parameter) 值(Value)
    fs.default.name NameNode的IP地址及端口

    2、hdfs-site.xml

    参数(Parameter) 值(Value)
    dfs.name.dir NameNode存储名字空间及汇报日志的位置
    dfs.data.dir DataNode存储数据块的位置

    3、mapred-site.xml

    参数(Parameter) 值(Value)
    mapreduce.jobtracker.address JobTracker的IP地址及端口
    mapreduce.jobtracker.system.dir MapReduce在HDFS上存储文件的位置
    mapreduce.cluster.local.dir MapReduce的缓存数据存储在文件系统中的位置
    mapred.tasktracker.{map|reduce}.tasks.maximum 每台TaskTracker所能运行的Map或Reduce的task最大数量
    dfs.hosts/dfs.hosts.exclude 允许或禁止的DataNode列表

    mapreduce.jobtracker.hosts.filename/

    mapreduce.jobtracker.hosts.exclude.filename

    允许或禁止的TaskTrackers列表
    mapreduce.cluster.job-authorization-enabled 布尔类型,表示Job,存储控制列表是否支持对Job的观察和修改
  • 相关阅读:
    JavaScript得到当前窗口的所有大小值
    JavaScript 变量、作用域和内存问题
    jQuery html5Validate基于HTML5表单验证插件
    新世界
    2001年的火花
    High Dynamic Range Compression on Programmable Graphics Hardware
    运筹帷幄
    你还要在学校找什么东西?
    图行天下
    Supra Team
  • 原文地址:https://www.cnblogs.com/dream-to-pku/p/7059205.html
Copyright © 2011-2022 走看看