zoukankan      html  css  js  c++  java
  • hadoop集群配置文件

    配置文件与功能对应:

    修改core-site.xml文件

    <property>

    <name>fs.defaultFS</name>

    <!--配置hdfs系统的地址-->

    <value>hdfs://hadoop01:8020</value>(在哪一台配,namenode就在哪一台启动

    </property>

    <property>

    <name>io.file.buffer.size</name>

    <value>4096</value>

    </property>

    <property>

    <name>hadoop.tmp.dir</name>

    <value>/home/hadoop/hadoop-2.6.0/hadoopdata/tmp</value>

    </property>

    修改hdfs-site.xml文件

    <property>

    <!--副本数3-->

    <name>dfs.replication</name>

    <value>3</value>

    </property>

    <property>

    <!--hadoop2.x默认数据块大小是128M-->

    <name>dfs.blocksize</name>

    <value>134217728</value>

    </property>

    <property>

    <name>dfs.namenode.name.dir</name>

    <!--NameNode节点存储元数据的位置-->

    <value>file:///home/hadoop/hadoop-2.6.0/hadoopdata/dfs/name</value>

    </property>

    <property>

    <!--DataNode节点存储数据块的位置-->

    <name>dfs.datanode.data.dir</name>

    <value>file:///home/hadoop/hadoop-2.6.0/hadoopdata/dfs/data</value>

    </property>

    <property>

    <name>fs.checkpoint.dir</name>

    <value>file:///home/hadoop/hadoop-2.6.0/hadoopdata/checkpoint/dfs/cname</value>

    </property>

    <property>

    <name>fs.checkpoint.edits.dir</name>

    <value>file:///home/hadoop/hadoop-2.6.0/hadoopdata/checkpoint/dfs/cname</value>

    </property>

    <property>

    <!--hdfs系统的web地址-->主机2为主机1做辅助作用

       <name>dfs.http.address</name>

       <value>hadoop01:50070</value>

    </property>

    <property>

       <name>dfs.secondary.http.address</name>

       <value>hadoop02:50090</value>

    </property>

    <property>

    <name>dfs.webhdfs.enabled</name>

    <value>true</value>

    </property>

    <property>

    <name>dfs.permissions</name>

    <value>false</value>

    </property>

    修改mapred-site.xml文件

    命令如下:

    # mv mapred-site.xml.template  mapred-site.xml

    #vi mapred-site.xml

    <property>

    <!--配置执行计算模型时使用yarn资源调度器-->

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

    <final>true</final>

    </property>

    <property>

    <!--配置MapReduce框架的历史服务的地址-->内部端口

    <name>mapreduce.jobhistory.address</name>

    <value>hdp-qm-01:10020</value>

    </property>

    <property>

    <!--配置MapReduce框架的历史服务的地址-->外部web端口

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>hdp-qm-01:19888</value>19888mapreduce的历史端口

    </property>

    修改yarn-site.xml,配置yarn的集群。。50070hdfsweb端口

    <property>

    <!--配置resourcemanager服务的地址-->

    <name>yarn.resourcemanager.hostname</name>

    <value>hdp-qm-01</value>

    </property>

    <property>

    <name>yarn.nodemanager.aux-services</name>

    <!--配置mapreduceshuffle服务的地址-->

    <value>mapreduce_shuffle</value>注:mapreduce处理开始,到聚合之前,为shuffle过程。

    </property>

    <property>

    <name>yarn.resourcemanager.address</name>

    <value>hdp-qm-01:8032</value>内部通信端口与nodemanager通信的端口

    </property>

    <property>

    <name>yarn.resourcemanager.scheduler.address</name>请求某一台机器,调度资源时需要的端口,

    <value>hdp-qm-01:8030</value>

    </property>

    <property>

    <name>yarn.resourcemanager.resource-tracker.address</name>

    <value>hdp-qm-01:8031</value>tracker跟踪,nodemanager跟踪资源时需要的端口

    </property>

    <property>

    <name>yarn.resourcemanager.admin.address</name>

    <value>hdp-qm-01:8033</value>任务管理需要的端口

    </property>

    <property>

    <!--配置resourcemanagerweb访问地址-->

    <name>yarn.resourcemanager.webapp.address</name>

    <value>hdp-qm-01:8088</value>8088yarnweb端口

    </property>

    成就人
  • 相关阅读:
    Windows下Subversion配置管理员指南
    asp.net HttpHand和HttpModule的详细解释,包括Asp.Net对Http请求的处理流程。
    SQL Server 2000不能远程连接的问题
    ASP通用分页类[强]
    不错的站长工具网址(不断收集中....)
    函数的四种调用模式
    HDOJ 3943 Kth Nya Number(数位DP)
    HDOJ 2196 Computer
    HDOJ 3695 Computer Virus on Planet Pandora (AC自动机)
    HDOJ 4277 USACO ORZ (搜索+剪枝)
  • 原文地址:https://www.cnblogs.com/pingzizhuanshu/p/8963983.html
Copyright © 2011-2022 走看看