zoukankan      html  css  js  c++  java
  • hadoop配置文件的作用

      

    core-site.xml
      <property> //指定hdfs的主端口 namenode要放在哪台机器上
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop001:9000</value> //主机名+端口号
      </property>
      <property> //临时变量目录 data name secondary 如果指定了namenode datanode 可以不配
        <name>hadoop.tmp.dir</name>
        <value>usr/soft/tmp/
      </value>
      </property>
      <property> //流缓冲区大小 128MB
        <name>io.file.buffer.size</name>
        <value>131072</value>
      </property>

    hdfs-site.xml
      <property> //副本数
        <name>dfs.replication</name>
        <value>2</value>
      </property>
      <property> //secondary
        <name>dfs.secondary.http.address</name>
        <value>hadoop001:50090</value>
      </property>

    yarn-site.xml
      <property> //mapreduce中的shuffle过程
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop001</value>
      </property>
      <property> //resourcemanager 在哪台主机上
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>

    mapred-site.xml
      <property> //mapreduce 依赖的框架
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
      </property>
      <property> //历史服务器监控端口
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop001:10020</value>
      </property>
      <property> //历史服务器的web监控地址
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop001:19888</value>
      </property>
      <property> //历史服务器的记录的最大容纳数
        <name>mapreduce.jobhistory.joblist.cache.size</name>
        <value>20000</value>
      </property>

  • 相关阅读:
    ListCtr 每一行都加上选择框
    VC中MFC check box的用法
    第二章 掌握C++(2)C++的特性(上)
    第二章 掌握C++(1)从结构到类
    道路横断面设计
    第一章 Windows程序内部运行机制(5)动手编写一个Windows程序
    第一章 Windows程序内部运行机制(4)WinMain函数(续)
    将div旋转任意角度
    地址栏图标修改
    script 错误
  • 原文地址:https://www.cnblogs.com/lishengnan/p/hadoop5.html
Copyright © 2011-2022 走看看