zoukankan      html  css  js  c++  java
  • hadoop配置文件的作用

      

    core-site.xml
      <property> //指定hdfs的主端口 namenode要放在哪台机器上
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop001:9000</value> //主机名+端口号
      </property>
      <property> //临时变量目录 data name secondary 如果指定了namenode datanode 可以不配
        <name>hadoop.tmp.dir</name>
        <value>usr/soft/tmp/
      </value>
      </property>
      <property> //流缓冲区大小 128MB
        <name>io.file.buffer.size</name>
        <value>131072</value>
      </property>

    hdfs-site.xml
      <property> //副本数
        <name>dfs.replication</name>
        <value>2</value>
      </property>
      <property> //secondary
        <name>dfs.secondary.http.address</name>
        <value>hadoop001:50090</value>
      </property>

    yarn-site.xml
      <property> //mapreduce中的shuffle过程
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop001</value>
      </property>
      <property> //resourcemanager 在哪台主机上
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>

    mapred-site.xml
      <property> //mapreduce 依赖的框架
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
      </property>
      <property> //历史服务器监控端口
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop001:10020</value>
      </property>
      <property> //历史服务器的web监控地址
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop001:19888</value>
      </property>
      <property> //历史服务器的记录的最大容纳数
        <name>mapreduce.jobhistory.joblist.cache.size</name>
        <value>20000</value>
      </property>

  • 相关阅读:
    GAMES101作业1:旋转与投影
    ant design vue关于input组件设置只读
    使用事件代理解决v-html点击事件无效
    js替换字符串中的空格,换行符 或 替换成<br>
    vue中ref的使用(this.$refs获取为undefined)
    轮询锁在使用时遇到的问题与解决方案!
    死锁终结者:顺序锁和轮询锁!
    死锁的 4 种排查工具 !
    图解:为什么非公平锁的性能更高?
    抽奖动画
  • 原文地址:https://www.cnblogs.com/lishengnan/p/hadoop5.html
Copyright © 2011-2022 走看看