zoukankan      html  css  js  c++  java
  • hadoop配置文件的作用

      

    core-site.xml
      <property> //指定hdfs的主端口 namenode要放在哪台机器上
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop001:9000</value> //主机名+端口号
      </property>
      <property> //临时变量目录 data name secondary 如果指定了namenode datanode 可以不配
        <name>hadoop.tmp.dir</name>
        <value>usr/soft/tmp/
      </value>
      </property>
      <property> //流缓冲区大小 128MB
        <name>io.file.buffer.size</name>
        <value>131072</value>
      </property>

    hdfs-site.xml
      <property> //副本数
        <name>dfs.replication</name>
        <value>2</value>
      </property>
      <property> //secondary
        <name>dfs.secondary.http.address</name>
        <value>hadoop001:50090</value>
      </property>

    yarn-site.xml
      <property> //mapreduce中的shuffle过程
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop001</value>
      </property>
      <property> //resourcemanager 在哪台主机上
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>

    mapred-site.xml
      <property> //mapreduce 依赖的框架
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
      </property>
      <property> //历史服务器监控端口
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop001:10020</value>
      </property>
      <property> //历史服务器的web监控地址
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop001:19888</value>
      </property>
      <property> //历史服务器的记录的最大容纳数
        <name>mapreduce.jobhistory.joblist.cache.size</name>
        <value>20000</value>
      </property>

  • 相关阅读:
    NOIP2013题解
    NOIP2012题解
    NOIP2011题解
    NOIP2010题解
    【BZOJ2302】[HAOI2011]Problem C(动态规划)
    【BZOJ2299】[HAOI2011]向量(数论)
    【BZOJ2285】[SDOI2011]保密(分数规划,网络流)
    【BZOJ2246】[SDOI2011]迷宫探险(搜索,动态规划)
    【BZOJ2281】[SDOI2011]黑白棋(博弈论,动态规划)
    【BZOJ2245】[SDOI2011]工作安排(费用流)
  • 原文地址:https://www.cnblogs.com/lishengnan/p/hadoop5.html
Copyright © 2011-2022 走看看