zoukankan      html  css  js  c++  java
  • hadoop集群搭建的完整配置

    首先说明啊,我是新人初学,自己搭建的配置,为了下次建立过程中方便而贴!!!!!!!!
    如果你为了快,可以直接复制我的。哈哈哈,你有好的理解,或者我的有问题欢迎提出
    一、core-site.xml的相关配置

    fs.defaultFS hdfs://192.168.92.99:9000 io.file.buffer.size 1024 hadoop.tmp.dir /opt/module/hadoop-2.8.5/tmp

    二、hdfs-site.xml配置

    dfs.replication 2 dfs.namenode.secondary.http.address hdslave2:50090 dfs.namenode.name.dir /opt/module/hadoop-2.8.5/hdfs/name dfs.datanode.data.dir /opt/module/hadoop-2.8.5/hdfs/data dfs.http.address hdmaster:50070 dfs.webhdfs.enabled true dfs.permissions false dfs.namenode.heartbeat.recheck-interval 300000 dfs.heartbeat.interval 3 三、mapred-site.xml配置 mapreduce.framework.name yarn mapreduce.jobhistory.address hdmaster:10020 mapreduce.jobhistory.webapp.address hdmaster:19888 mapred.job.tracker hdmaster:9001 四、yarn-site.xml配置
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    
    <property>
       <name>yarn.nodemanager.resource.cpu-vcores</name>
       <value>2</value>
    </property>
    
    <property>
          <name>yarn.scheduler.maximum-allocation-vcores</name>
           <value>4</value>
        </property>	
        
         <property>
    	<name>hadoop.refistry.zk.quorum</name>
    	<value>hdsalve2:2181,hdslave1:2181</value>
    </property>	
    
    
    
    <property>
           <name>yarn.resourcemanager.am.max-attempts</name>
            <value>100</value>
        </property>	
    
    <property>
    	  <name>yarn.resourcemanager.hostname</name>
    	  <value>hdmaster</value>
    </property>
    
     <property>
    		<name>yarn.resourcemanager.address</name>
    		<value>hdmaster:8032</value>
    </property>
    
    <property>
    		<name>yarn.resourcemanager.scheduler.address</name>
    		<value>hdmaster:8030</value>
    </property>
    
    <property>
    		<name>yarn.resourcemanager.resource-tracker.address</name>
    		<value>hdmaster:8031</value>
    </property>
    
     <property>
    		<name>yarn.resourcemanager.admin.address</name>
    		<value>hdmaster:8033</value>
     </property>
    
    <property>
    		<name>yarn.resourcemanager.webapp.address</name>
    		<value>hdmaster:8088</value>
    	</property>
  • 相关阅读:
    angular多个控制器如何共享数据
    $q服务的使用
    $sanitize和$sce服务的使用方法
    json对象与json字符串互转方法
    css语法和JS语法的对比
    让低版本IE也能正常运行HTML5+CSS3网站的3种解决方案
    HTML中的IE条件注释
    区块链是什么,如何评价区块链
    编写Python脚本把sqlAlchemy对象转换成dict的教程
    编写Python脚本把sqlAlchemy对象转换成dict的教程
  • 原文地址:https://www.cnblogs.com/hbym/p/11356362.html
Copyright © 2011-2022 走看看