zoukankan      html  css  js  c++  java
  • yarn-site.xml and mapred-site.xml 配置以及属性说明

    //启用yarn 作为资源管理框架
    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>



    <configuration>

    <!-- Site specific YARN configuration properties -->

    //启用高可用

    <property>
       <name>yarn.resourcemanager.ha.enabled</name>
       <value>true</value>

     </property>

    // 定义集群的名称

     <property>
       <name>yarn.resourcemanager.cluster-id</name>
       <value>cluster1</value>

     </property>

    //为Resourcesmanager指定别名

     <property>
       <name>yarn.resourcemanager.ha.rm-ids</name>
       <value>rm1,rm2</value>
     </property>

     <property>

    // 为别名指定服务器id

       <name>yarn.resourcemanager.hostname.rm1</name>
       <value>bigdatastorm</value>
     </property>
     <property>
       <name>yarn.resourcemanager.hostname.rm2</name>
       <value>bigdatahadoop</value>
     </property>

     <property>

    // 指定zookeeper 服务器

       <name>yarn.resourcemanager.zk-address</name>
       <value>bigdataspark:2181,bigdatacloud:2181,bigdatahadoop:2181</value>

     </property>

    //启用mapreducer 的shuffle 功能

        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>

    </configuration>






  • 相关阅读:
    Ant属性文件
    使用numpy处理数组
    机器学习实战之决策树(一)
    列表去掉重复元素
    cv2.putText,cv2.rectangle方法
    sklearn 中文文档
    numpy delete方法
    MATLAB ~的用法
    MATLAB 基础
    Python 遍历目录下的子目录和文件
  • 原文地址:https://www.cnblogs.com/TendToBigData/p/10501453.html
Copyright © 2011-2022 走看看