zoukankan      html  css  js  c++  java
  • hadoop配置文件的作用

      

    core-site.xml
      <property> //指定hdfs的主端口 namenode要放在哪台机器上
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop001:9000</value> //主机名+端口号
      </property>
      <property> //临时变量目录 data name secondary 如果指定了namenode datanode 可以不配
        <name>hadoop.tmp.dir</name>
        <value>usr/soft/tmp/
      </value>
      </property>
      <property> //流缓冲区大小 128MB
        <name>io.file.buffer.size</name>
        <value>131072</value>
      </property>

    hdfs-site.xml
      <property> //副本数
        <name>dfs.replication</name>
        <value>2</value>
      </property>
      <property> //secondary
        <name>dfs.secondary.http.address</name>
        <value>hadoop001:50090</value>
      </property>

    yarn-site.xml
      <property> //mapreduce中的shuffle过程
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop001</value>
      </property>
      <property> //resourcemanager 在哪台主机上
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>

    mapred-site.xml
      <property> //mapreduce 依赖的框架
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
      </property>
      <property> //历史服务器监控端口
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop001:10020</value>
      </property>
      <property> //历史服务器的web监控地址
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop001:19888</value>
      </property>
      <property> //历史服务器的记录的最大容纳数
        <name>mapreduce.jobhistory.joblist.cache.size</name>
        <value>20000</value>
      </property>

  • 相关阅读:
    转:关于JAVA多线程同步
    转:Java HashMap实现详解
    索引创建规则:
    数据库为什么要分库分表
    [设计模式] javascript 之 桥接模式
    [百度地图] ZMap 与 MultiZMap 封装类说明;
    [设计模式] Javascript 之 外观模式
    [设计模式] javascript 之 代理模式
    [设计模式] javascript 之 装饰者模式
    [设计模式] javascript 之 适配器模式
  • 原文地址:https://www.cnblogs.com/lishengnan/p/hadoop5.html
Copyright © 2011-2022 走看看