zoukankan      html  css  js  c++  java
  • hadoop配置文件的作用

      

    core-site.xml
      <property> //指定hdfs的主端口 namenode要放在哪台机器上
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop001:9000</value> //主机名+端口号
      </property>
      <property> //临时变量目录 data name secondary 如果指定了namenode datanode 可以不配
        <name>hadoop.tmp.dir</name>
        <value>usr/soft/tmp/
      </value>
      </property>
      <property> //流缓冲区大小 128MB
        <name>io.file.buffer.size</name>
        <value>131072</value>
      </property>

    hdfs-site.xml
      <property> //副本数
        <name>dfs.replication</name>
        <value>2</value>
      </property>
      <property> //secondary
        <name>dfs.secondary.http.address</name>
        <value>hadoop001:50090</value>
      </property>

    yarn-site.xml
      <property> //mapreduce中的shuffle过程
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop001</value>
      </property>
      <property> //resourcemanager 在哪台主机上
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>

    mapred-site.xml
      <property> //mapreduce 依赖的框架
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
      </property>
      <property> //历史服务器监控端口
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop001:10020</value>
      </property>
      <property> //历史服务器的web监控地址
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop001:19888</value>
      </property>
      <property> //历史服务器的记录的最大容纳数
        <name>mapreduce.jobhistory.joblist.cache.size</name>
        <value>20000</value>
      </property>

  • 相关阅读:
    React 组件间的通讯
    javascript 闭包详解及作用
    selenium使用技巧
    多线程
    渗透测试
    什么是Selenium Grid?如何搭建Selenium Grid?
    前端性能测试工具原理与行业常用工具简介
    后端性能测试工具原理与行业常用工具简介
    性能测试方法和应用
    软件性能与性能指标
  • 原文地址:https://www.cnblogs.com/lishengnan/p/hadoop5.html
Copyright © 2011-2022 走看看